JP5935779B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、所定の時点に関連する画像を特定する画像処理装置、画像処理方法及びプログラムに関する。

従来、一連のスイング動作をしている被写体を撮像した動画像のデータから、インパクト時の画像を特定する装置が知られている（例えば、特許文献１参照）。具体的には、当該装置は、動画像のデータをリングバッファに記憶しつつドップラセンサによりボール速度を測定し、ボール速度の測定に掛かった処理時間に基づいて、インパクト時のフレーム画像を特定する。

特開２０１１−３０６６９号公報

しかしながら、上記特許文献１の場合、動画像のデータの中で一連のスイング動作中の所定の瞬間の画像を特定するためには、ドップラセンサのような特殊なデバイスが必要であった。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、特殊なデバイスを用いなくとも所望の画像を特定することができる画像処理装置、画像処理方法及びプログラムを提供することである。

上記課題を解決するため、本発明に係る画像処理装置は、
被写体の動作が連続的に撮像された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する領域設定手段と、前記領域設定手段により設定された複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段と、を備えたことを特徴としている。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、被写体の動作が連続的に撮像された複数の画像を取得する処理と、取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する処理と、設定された前記複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する処理と、を含むことを特徴としている。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、被写体の動作が連続的に撮像された複数の画像を取得する取得手段、前記取得手段により取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する領域設定手段、前記領域設定手段により設定された複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段、として機能させることを特徴としている。

本発明によれば、特殊なデバイスを用いなくとも所望の画像を特定することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。 図２の撮像処理における画像特定処理に係る動作の一例を示すフローチャートである。 図２の撮像処理に係るライブビュー画像の一例を模式的に示す図である。 図２の撮像処理に係る動画像の一例を模式的に示す図である。 図３の画像特定処理に係るフレーム画像の一例を模式的に示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、中央制御部１と、メモリ２と、撮像部３と、画像データ生成部４と、画像処理部５と、画像記録部６と、表示部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、画像データ生成部４、画像処理部５、画像記録部６及び表示部７は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や画像処理部５等の各部によって処理されるデータ等を一時的に記憶するものである。

撮像部３は、背景内に存在する被写体（例えば、ゴルフクラブのクラブヘッドＣ；図４参照）を撮像する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部３ｃは、撮像部３による被写体の撮像を制御する。即ち、撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部４に出力させる。

画像データ生成部４は、電子撮像部３ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、画像データ生成部４は、動画像を構成する複数のフレーム画像の各々を所定形式（例えば、ＭＰＥＧ形式やモーションＪＰＥＧ形式等）で符号化して、動画像の画像データを生成する。
また、画像データ生成部４は、生成した画像データをバッファメモリとして使用されるメモリ２に転送する。

画像処理部５は、画像取得部５ａと、領域設定部５ｂと、復号部５ｃと、閾値設定部５ｄと、フレーム番号特定部５ｅと、画像特定部５ｆとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、画像特定処理の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）５ａは、被写体の動作が連続的に撮像された複数のフレーム画像Ｆ１〜Ｆ５（図５（ａ）〜図５（ｅ）参照）を取得する。具体的には、画像取得部５ａは、例えば、被写体による所定のスポーツの一連の動作（例えば、ゴルフのスイングにおけるクラブヘッドＣの動作等）が撮像部３により撮像されて画像データ生成部４により生成された複数のフレーム画像からなる動画像の画像データを、画像特定処理の処理対象として取得する。
例えば、撮像部３は、被写体による所定のスポーツの一連の動作を所定の撮像フレームレート（例えば、１０００ｆｐｓ等）で撮像し、画像データ生成部４は、フレーム番号が対応付けられた複数のフレーム画像からなる動画像の画像データを生成してメモリ２に転送する。ここで、撮像部３による被写体の撮像の際に、表示部７は、例えば、ゴルフクラブのクラブヘッドＣやボールＢの初期位置を合わせるための指標Ｍをライブビュー画像Ｌに重畳させてＯＳＤ（on-screen display）表示させても良い（図４参照）。
そして、画像取得部５ａは、メモリ２に格納されている動画像の画像データを読み出して、画像特定処理の処理対象として取得する。
なお、画像取得部５ａは、撮像部３による被写体の撮像後に画像記録部６に記録されている動画像の画像データを読み出して、画像特定処理の処理対象として取得しても良い。

領域設定部５ｂは、被写体の検出領域を設定する。
即ち、領域設定部（領域設定手段）５ｂは、画像取得部５ａにより取得された動画像を構成する複数のフレーム画像の各々について所定位置に、被写体（例えば、クラブヘッドＣ等）が存在する時点のフレーム番号（識別情報）を特定するための複数の検出領域を設定する。具体的には、領域設定部５ｂは、例えば、複数のフレーム画像の各々について上下方向略中央部の左右方向両端寄りの位置に、略矩形状の検出領域を二つ設定する（図６（ａ）〜図６（ｃ）参照）。ここで、被写体の検出領域の位置は、例えば、被写体の一連の動作における当該被写体の移動方向を基準として設定される。つまり、領域設定部５ｂは、例えば、左右方向に移動する被写体に対しては各フレーム画像の左右方向両端寄りの位置に少なくとも二つの検出領域Ａ１、Ａ２を設定し、上下方向に移動する被写体に対しては各フレーム画像の上下方向両端寄りの位置に少なくとも二つの検出領域（図示略）を設定する。
また、領域設定部５ｂは、複数のフレーム画像のうち、最初のフレーム画像Ｆ１（図６（ａ）参照）の所定位置に被写体の検出領域を設定することで、残りのフレーム画像についても同様に、最初のフレーム画像Ｆ１の検出領域に対応する位置に検出領域を適用して設定する。
なお、上記した検出領域の配置、個数、形状等は、一例であってこれに限られるものではなく、適宜任意に変更可能である。

復号部５ｃは、複数のフレーム画像からなる動画像の画像データを復号する。
具体的には、復号部５ｃは、例えば、画像取得部５ａにより取得された所定形式（例えば、ＭＰＥＧ形式やモーションＪＰＥＧ形式等）で符号化されている動画像の画像データに対して、当該動画像データの符号化方式に応じた復号処理を施して、複数のフレーム画像のＹＵＶデータを生成する。
このとき、復号部５ｃは、例えば、表示パネル７ａの表示解像度等に基づいて各フレーム画像を所定サイズ（例えば、ＶＧＡやＱＶＧＡサイズ）に縮小する処理を行っても良い。

閾値設定部５ｄは、被写体の検出用の閾値を設定する。
即ち、閾値設定部（閾値設定手段）５ｄは、複数のフレーム画像のうち、所定期間内の所定数のフレーム画像における検出領域の画素値の代表値を被写体の検出用の閾値として設定する。具体的には、閾値設定部５ｄは、例えば、復号部５ｃにより復号された最初のフレーム画像Ｆ１から所定数（例えば、ｎ個；ｎは自然数）分のフレーム画像について、検出領域毎に隣合うフレーム画像との画素値（例えば、輝度値）の差分二乗和ＳＳＤ（Sum of Squared Differences）を算出する。そして、閾値設定部（算出手段）５ｄは、検出領域毎に、算出された複数（例えば、ｎ−１個）の差分二乗和ＳＳＤの代表値（例えば、平均値、中央値等）を演算して、被写体が検出領域に存在する時点のフレーム番号を特定するための閾値として設定する。

なお、上記した閾値の算出方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、例えば、フレーム画像における背景の色が一色の場合や模様が一様の場合等には、閾値設定部５ｄは、何れか一の検出領域（例えば、左側の検出領域Ａ１等）について算出された代表値（閾値）を他の検出領域（例えば、右側の検出領域Ａ２等）について適用しても良い。

フレーム番号特定部５ｅは、検出領域内に被写体が存在する時点のフレーム番号を特定する。
即ち、フレーム番号特定部５ｅは、領域設定部５ｂにより設定された複数の検出領域における各検出領域の画素値の変動に基づいて、当該各検出領域内に被写体が存在する時点のフレーム番号（フレームインの時点のフレーム番号又はフレームアウトの時点のフレーム番号）を特定する。具体的には、フレーム番号特定部（判定手段）５ｅは、検出領域毎に、当該検出領域毎の画素値が閾値設定部５ｄにより設定された各閾値に対して大きいか否かを判定する。そして、検出領域毎の画素値が閾値設定部５ｄにより設定された各閾値に対して大きいと判定されると、当該検出領域の画素値が閾値設定部５ｄにより設定された閾値を超えた時点のフレーム番号を特定する（図６（ｂ）及び図６（ｃ）参照）。
例えば、フレーム番号特定部５ｅは、復号部５ｃにより復号された各フレーム画像について隣合うフレーム画像との検出領域の画素値（例えば、輝度値）の差分二乗和ＳＳＤを評価値として算出する。続けて、フレーム番号特定部５ｅは、算出された評価値と閾値設定部５ｄにより設定された閾値とを比較して、評価値が閾値よりも大きいか否かを判定する。当該判定の結果、フレーム番号特定部５ｅは、評価値が閾値を超えた時点のフレーム番号を特定する。例えば、ゴルフのスイングの場合、左右方向に移動するクラブヘッドＣが検出領域を通過することで、評価値が閾値よりも大きくなる。
また、フレーム番号特定部５ｅは、評価値が閾値よりも大きいと判定された時点のフレーム番号のうち、当該閾値に対する相違度が最も大きい時点のフレーム番号を特定する。即ち、例えば、左右方向に移動するクラブヘッドＣが検出領域を通過することで、評価値が閾値よりも大きくなり、当該クラブヘッドＣと検出領域との重なり領域が最も大きくなると相違度が最も大きくなる。ここで、打ち出されたボールＢが一方の検出領域（後述するフレームアウト側の検出領域Ａ２）を通過する際にも評価値が閾値よりも大きくなるが、クラブヘッドＣが通過する際の評価値の方がボールＢの評価値に比して大きくなるため、閾値に対する相違度が最も大きくなった評価値に対応するフレーム画像の検出領域内には、クラブヘッドＣが存在すると考えられる。

ここで、左右二つの検出領域Ａ１、Ａ２内におけるフレームイン及びフレームアウトの時点のフレーム番号の特定処理は、当該被写体のフレームアウト側に対応する検出領域Ａ２（図６（ｂ）参照）から先に行われても良い。即ち、例えば、ゴルフのスイングの場合、右利きの人のスイングでは、クラブヘッドＣが左側からフレームインして右側からフレームアウトする軌道を描くことから、右側の検出領域Ａ２から先に特定処理が行われ、その一方で、左利きの人のスイングでは、逆に左側の検出領域Ａ１から先に特定処理が行われる。
このとき、フレーム番号特定部５ｅは、検出領域Ａ２を用いたフレームアウトの時点のフレーム番号の特定処理については（図６（ｂ）参照）、復号部５ｃにより復号された全てのフレーム画像を処理対象とする。その一方で、フレーム番号特定部５ｅは、検出領域Ａ１を用いたフレームインの時点のフレーム番号の特定処理については（図６（ｂ）参照）、特定されたフレームアウトの時点のフレーム番号を基準とした所定数のフレーム画像を処理対象とする。例えば、フレーム番号特定部５ｅは、ゴルフの標準的なスイングスピード（例えば、３０〜４０ｍ／ｓ等）、撮像部３の撮像フレームレートや画角等を考慮して、検出領域Ａ２を用いて特定されたフレームアウトの時点のフレーム番号に対応するフレーム画像から所定数分のフレームを遡ったフレーム画像を特定し、当該特定されたフレーム画像以降のフレームであって、検出領域Ａ２を用いて特定されたフレームアウトの時点のフレーム番号に対応するフレーム画像の一つ前のフレーム画像までを処理対象とする。
これにより、ゴルフのスイングの場合、テイクバックと振り下ろしの各々の動作にてフレームイン側の検出領域Ａ１を通過することとなるが、テイクバックの際にクラブヘッドＣが当該検出領域Ａ１内に存在するフレーム画像のフレーム番号がフレームインの時点のフレーム番号として誤って特定されることを抑制することができる。

画像特定部５ｆは、被写体の動作における所定の時点を基準とする複数のフレーム画像を特定する。
即ち、画像特定部（特定手段）５ｆは、フレーム番号特定部５ｅによるフレームイン及びフレームアウトの時点のフレーム番号の特定結果に基づいて、複数の画像内で被写体の動作における所定の時点（例えば、クラブヘッドＣによりボールＢを打った瞬間のインパクト等）に関連するフレーム画像を複数特定する。具体的には、例えば、画像特定部５ｆは、検出領域Ａ１、Ａ２を用いた被写体（例えば、クラブヘッドＣ）のフレームイン及びフレームアウトの時点のフレーム番号の特定結果に基づいて、当該フレームイン及びフレームアウトの時点のフレーム番号に対応するフレーム画像Ｆ２、Ｆ４をそれぞれ特定する。そして、画像特定部５ｆは、所定の時点に関連するフレーム画像Ｆ２、Ｆ４に基づいて、複数のフレーム画像のうち当該所定の時点を基準とする複数のフレーム画像を特定する。例えば、画像特定部（抽出手段）５ｆは、特定された二つのフレーム番号に基づいて、複数のフレーム画像から当該二つのフレーム番号間の複数のフレーム画像を特定し、動画像として抽出する。
このとき、画像特定部５ｆは、フレーム番号特定部５ｅによる複数の検出領域を用いて特定されたフレームイン及びフレームアウトの時点のフレーム番号の順序が所定の順序であった場合に、所定の時点に関連するフレーム画像を特定する。つまり、検出領域Ａ１を用いて特定されたフレームインの時点のフレーム番号の方が、検出領域Ａ２を用いて特定されたフレームアウトの時点のフレーム番号よりも小さい場合に、当該二つのフレーム番号に対応するフレーム画像Ｆ２、Ｆ４間には、クラブヘッドＣによりボールＢを打った瞬間のインパクトの時点（所定の時点）に対応するフレーム画像Ｆ３が含まれていることとなる。

なお、画像特定部５ｆは、例えば、ボールＢや初期状態のクラブヘッドの位置と二つの検出領域Ａ１、Ａ２との相対的な位置関係を考慮して、二つのフレーム画像Ｆ２、Ｆ４間にてボールＢを打った瞬間のインパクトに対応するフレーム画像Ｆ３自体を特定しても良い。例えば、ボールＢが二つの検出領域Ａ１、Ａ２の略中間に配置されている場合には、二つのフレーム画像Ｆ２、Ｆ４間の略中間にボールＢを打った瞬間のインパクトに対応するフレーム画像Ｆ３が存在すると考えられる。

画像記録部６は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されている。また、画像記録部６は、画像データ生成部４の符号化部（図示略）により所定の符号化方式で符号化された各種の画像の画像データを記録する。
具体的には、画像記録部６は、例えば、撮像部３により被写体の一連の動作が連続された動画像の画像データや、当該動画像から抽出され、所定の時点を基準とする所定数のフレーム画像からなる動画像の画像データ等を記録する。

なお、画像記録部６は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

表示部７は、静止画像や動画像を表示する。具体的には、表示部７は、表示パネル７ａと、表示制御部７ｂとを具備している。

表示パネル７ａは、表示領域内に画像を表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部３による被写体の撮像により生成された複数の画像フレームを所定の再生フレームレートで逐次更新しながらライブビュー画像Ｌを表示する。
なお、表示パネル７ａとしては、例えば、液晶表示パネルや有機ＥＬ表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

表示制御部７ｂは、画像記録部６から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル７ａの表示画面に表示させる制御を行う。具体的には、表示制御部７ｂは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから読み出して、これらのデータを元にビデオ信号を発生して表示パネル７ａに出力する。

操作入力部８は、装置本体に対して各種指示を入力するためのものである。
具体的には、操作入力部８は、例えば、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等を具備する操作部（図示略）を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部８は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部８から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像等）を各部に実行させる。
なお、操作入力部８は、表示部７の表示パネル７ａと一体となって設けられたタッチパネル（図示略）を有して構成されていても良い。

次に、撮像処理について、図２〜図６を参照して説明する。
図２は、撮像処理に係る動作の一例を示すフローチャートである。

以下に説明する撮像処理は、ユーザによる操作入力部８の所定操作に基づいて、メニュー画面（図示略）に表示された複数の動作モードの中からインパクト画像抽出モードが選択指示された場合に実行される処理である。

＜撮像処理＞
図２のフローチャートに示すように、先ず、表示制御部７ｂは、例えば、クラブヘッドＣやボールＢの初期位置を合わせるための指標Ｍ（例えば、クラブヘッド形状やボール形状の枠表示等）をライブビュー画像Ｌに重畳させて表示パネル７ａにＯＳＤ表示させる（ステップＳ１；図４参照）。この状態で、撮像者は、クラブヘッドＣやボールＢの初期位置が指標Ｍと重なるように、当該装置本体と被写体との距離や撮像部３の画角等を調整する。
そして、ユーザによる操作入力部８の所定操作に基づいて、当該装置本体と被写体との距離や撮像部３の画角等の調整の完了指示が入力されると、表示制御部７ｂは、指標ＭのＯＳＤ表示を停止する。
なお、指標ＭのＯＳＤ表示は、動作する人の利き手に応じて用意されており、図４は右利きの人用である。また、被写体の撮像は、当該装置本体を三脚に固定して行っても良いし、撮像者が手持ちで行っても良い。

次に、ユーザによる操作入力部８の所定操作に基づいて撮像が指示されると、撮像部３は、ゴルフのスイングの動作を所定の撮像フレームレート（例えば、１０００ｆｐｓ等）で撮像して、画像データ生成部４は、複数のフレーム画像を所定の符号化方式で符号化した動画像の画像データを生成する（ステップＳ２）。
そして、画像データ生成部４は、生成された動画像の画像データをメモリ２に転送する。

続けて、画像処理部５は、動画像の画像データから所定数のフレーム画像を特定して抽出する画像特定処理（図３参照）を行う（ステップＳ３）。
なお、画像特定処理については、後述する。

そして、表示制御部７ｂは、画像特定部５ｆにより特定され抽出された所定数のフレーム画像に基づいて、動画像を表示パネル７ａに表示させる（ステップＳ４）。
これにより、撮像処理を終了する。

＜画像特定処理＞
以下に、画像特定処理について、図３を参照して詳細に説明する。
図３は、画像特定処理に係る動作の一例を示すフローチャートである。

図３に示すように、画像取得部５ａは、ゴルフのスイングの動作が連続的に撮像された複数のフレーム画像からなる動画像の画像データをメモリ２から読み出して、画像特定処理の処理対象として取得する（ステップＳ１１）。
次に、領域設定部５ｂは、動画像の画像データを構成する複数のフレーム画像の各々について、上下方向略中央部の左右方向両端寄りの位置に略矩形状の検出領域を二つ設定する（ステップＳ１２）。ここで、右利きの人の場合、左側の検出領域Ａ１がフレームイン側となり、右側の検出領域Ａ２がフレームアウト側となる。

続けて、復号部５ｃは、動画像の画像データを構成する最初のフレーム画像Ｆ１から所定数（例えば、ｎ個；ｎは自然数）分のフレーム画像を復号して（ステップＳ１３）、閾値設定部５ｄは、左右の検出領域Ａ１、Ａ２の各々について、隣合うフレーム画像との画素値（例えば、輝度値）の差分二乗和ＳＳＤを算出する（ステップＳ１４）。そして、閾値設定部５ｄは、左右の検出領域Ａ１、Ａ２の各々について、算出された複数（例えば、ｎ−１個）の差分二乗和ＳＳＤの代表値（例えば、平均値又は中央値等）をフレームイン及びフレームアウトの時点のフレーム番号の特定のための閾値として設定する（ステップＳ１５）。

次に、復号部５ｃは、動画像の画像データを構成する全てのフレーム画像を最初のフレーム画像Ｆ１から順次復号していき（ステップＳ１６）、フレーム番号特定部５ｅは、復号されたフレーム画像について、一つ前のフレーム画像とのフレームアウト側に対応する検出領域Ａ２の画素値（例えば、輝度値）の差分二乗和ＳＳＤを評価値として逐次算出する（ステップＳ１７）。続けて、フレーム番号特定部５ｅは、算出された評価値が閾値設定部５ｄにより設定されたフレームアウト側に対応する検出領域Ａ２の閾値よりも大きいか否かを判定する（ステップＳ１８）。
ここで、評価値が閾値よりも大きくないと判定されると（ステップＳ１８；ＮＯ）、画像処理部５は、処理をステップＳ１６に戻し、それ以降の各処理を実行する。つまり、フレームアウト側に対応する検出領域Ａ２内で画素値の変動がないため、クラブヘッドＣが検出領域Ａ２を通過していないと考えられる。これに対して、フレームアウト側に対応する検出領域Ａ２内で画素値の変動があると、検出領域Ａ２にクラブヘッドＣが存在すると考えられる。

ステップＳ１８にて、評価値が閾値よりも大きいと判定されると（ステップＳ１８；ＹＥＳ）、フレーム番号特定部５ｅは、当該評価値と閾値との相違度を算出して、相違度が最大の評価値に対応する時点のフレーム番号を特定し、当該フレーム番号に対応するフレーム画像を識別するためのフレーム番号を、当該フレーム画像のフレーム番号で更新して所定の格納手段（例えば、メモリ２等）に一時的に格納する（ステップＳ１９）。
続けて、画像処理部５は、全てのフレーム画像について上記の各処理を行ったか否かを判定する（ステップＳ２０）。

ステップＳ２０にて、全てのフレーム画像について行っていないと判定されると（ステップＳ２０；ＮＯ）、画像処理部５は、処理をステップＳ１６に戻し、それ以降の各処理を実行する。
上記の各処理は、ステップＳ２０にて、全てのフレーム画像について行ったと判定されるまで（ステップＳ２０；ＹＥＳ）、繰り返し実行される。
これにより、左右方向に移動するクラブヘッドＣとフレームアウト側の検出領域Ａ２との重なり領域が最も大きくなることにより、評価値と閾値との相違度が最大となった時点のフレーム番号のフレーム画像Ｆ４（図６（ｂ）参照）のフレーム番号が特定される。

次に、復号部５ｃは、検出領域Ａ２を用いて特定されたフレームアウトの時点のフレーム番号に対応するフレーム画像Ｆ４から所定数分のフレームを遡ったフレーム画像を復号の開始フレーム画像として指定する（ステップＳ２１）。また、復号部５ｃは、指定された開始フレーム画像以降のフレーム画像であって、特定されたフレームアウトの時点のフレーム番号に対応するフレーム画像Ｆ４の一つ前のフレーム画像までを復号処理の対象画像として指定する。
そして、復号部５ｃは、指定された開始フレーム画像以降のフレーム画像を順次復号していき（ステップＳ２２）、フレーム番号特定部５ｅは、復号されたフレーム画像について、一つ前のフレーム画像とのフレームイン側に対応する検出領域Ａ１の画素値（例えば、輝度値）の差分二乗和ＳＳＤを評価値として逐次算出する（ステップＳ２３）。続けて、フレーム番号特定部５ｅは、算出された評価値が閾値設定部５ｄにより設定されたフレームイン側に対応する検出領域Ａ１の閾値よりも大きいか否かを判定する（ステップＳ２４）。
ここで、評価値が閾値よりも大きくないと判定されると（ステップＳ２４；ＮＯ）、画像処理部５は、処理をステップＳ２２に戻し、それ以降の各処理を実行する。つまり、検出領域Ａ１内で画素値の変動がないため、クラブヘッドＣが検出領域Ａ２を通過していないと考えられる。これに対して、検出領域Ａ１内で画素値の変動があると、クラブヘッドＣが存在すると考えられる。

ステップＳ２４にて、評価値が閾値よりも大きいと判定されると（ステップＳ２４；ＹＥＳ）、フレーム番号特定部５ｅは、当該評価値と閾値との相違度を算出して、相違度が最大の評価値に対応するフレーム番号を特定し、フレームイン側のフレーム画像を識別するためのフレーム番号を、当該フレーム画像のフレーム番号で更新して所定の格納手段（例えば、メモリ２等）に一時的に格納する（ステップＳ２５）。
続けて、画像処理部５は、処理対象の全てのフレーム画像について上記の各処理を行ったか否かを判定する（ステップＳ２６）。

ステップＳ２６にて、処理対象の全てのフレーム画像について行っていないと判定されると（ステップＳ２６；ＮＯ）、画像処理部５は、処理をステップＳ２２に戻し、それ以降の各処理を実行する。
上記の各処理は、ステップＳ２６にて、処理対象の全てのフレーム画像について行ったと判定されるまで（ステップＳ２６；ＹＥＳ）、繰り返し実行される。
これにより、左右方向に移動するクラブヘッドＣと検出領域Ａ１との重なり領域が最も大きくなることで評価値と閾値との相違度が最大となったフレーム画像Ｆ２（図６（ｃ）参照）のフレーム番号が特定される。

次に、画像特定部５ｆは、特定されたフレームイン側及びフレームアウト側の各々のフレーム番号に基づいて、複数のフレーム画像から当該二つのフレーム番号間の所定数のフレーム画像を特定し、動画像として抽出する（ステップＳ２７）。具体的には、例えば、画像特定部５ｆは、特定されたフレームイン側のフレーム番号よりも所定数前のフレーム番号のフレーム画像から、特定されたフレームアウト側のフレーム番号よりも所定数後ろのフレーム番号のフレーム画像までを動画像として抽出する。
ここで、フレームイン側のフレーム番号とフレームアウト側のフレーム番号との間隔、即ち、二つのフレーム画像Ｆ２、Ｆ４間の画像数が所定値よりも多かったり、対応する時間間隔が所定値よりも長い場合には、クラブヘッドＣ以外のものが検出領域を通過している虞もあるため、画像特定部５ｆは、フレーム画像数や時間間隔が所定値以内である場合に、動画像を抽出する構成であっても良い。

その後、画像記録部６は、画像特定部５ｆにより抽出された、所定の時点を基準とする所定数のフレーム画像からなる動画像の画像データを記録して（ステップＳ２８）、当該画像特定処理を終了する。

以上のように、本実施形態の撮像装置１００によれば、被写体の動作が連続的に撮像された複数のフレーム画像の各フレーム画像における複数の所定位置に検出領域を設定し、設定された複数の検出領域の各々における複数のフレーム画像間の画素値の変動に基づいて、複数のフレーム画像のうち被写体の動作における所定の時点に関連するフレーム画像を複数特定するので、複数のフレーム画像の各々の所定位置に設定された検出領域の画素値の変動を利用することで、特殊なデバイスを用いなくともユーザ所望のフレーム画像（例えば、フレーム画像Ｆ２〜Ｆ４）を特定することができる。
例えば、ゴルフのスイングの場合、実際にボールＢを打たない素振りであっても、仮にボールＢを打ったらインパクトの瞬間となるであろうフレーム画像を含むユーザ所望のフレーム画像を特定することができる。

また、複数の検出領域の各々に被写体が存在するフレーム画像をそれぞれ特定し、特定された各検出領域に被写体が存在するフレーム画像のフレーム番号が所定の順序であった場合に、所定の時点に関連するフレーム画像を複数特定するので、複数の検出領域内からの被写体の検出の順序を利用して、被写体の動作が所定の動作以外であるか否かを判断することができる。
例えば、ゴルフのスイングの動作の場合、一般的に、フレームイン側（例えば、右利きのスイングにおける左側）の検出領域Ａ１からフレームアウト側（例えば、右利きのスイングにおける右側）の検出領域Ａ２へとクラブヘッドＣが動作する。これに対して、単にクラブヘッドＣを左右にぶらぶら動かすと、先にフレームアウト側の検出領域Ａ２にてクラブヘッドＣが検出された後、フレームイン側の検出領域Ａ１にてクラブヘッドＣが検出される虞もあるが、複数の検出領域を用いてクラブヘッドＣが検出される順序がフレームイン側の検出領域Ａ１が先でフレームアウト側の検出領域Ａ２が後である場合に、所定の時点に関連するフレーム画像を複数特定することで、単にクラブヘッドＣを左右にぶらぶら動かす動作（例えば、ワッグル等）に対応するフレーム画像が誤って特定されることを抑制することができる。

また、複数のフレーム画像のうち、所定期間内の所定数の画像における検出領域の画素値の代表値をフレームイン又はフレームアウトの時点のフレーム番号を特定するための閾値として設定し、当該閾値を基準としてフレームイン又はフレームアウトの時点のフレーム番号を特定して、各検出領域に被写体が存在するフレーム画像をそれぞれ特定することができる。特に、閾値よりも各検出領域の画素値が大きいと判定された場合に、検出領域によりフレームイン又はフレームアウトの時点のフレーム番号を適正に検出することができ、これにより、検出領域に被写体が存在するフレーム画像を所定の時点に関連するフレーム画像として特定することができる。
即ち、例えば、被写体が検出領域に存しない状態では、当該検出領域の画素値の変動が生じ難いのに対して、被写体が検出領域に存在する状態では、当該検出領域の画素値の変動が生じるため、当該検出領域の画素値の代表値を閾値とし、検出領域の画素値の変動を利用することで、フレームイン又はフレームアウトの時点のフレーム番号の検出を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、検出領域に設定された閾値を基準として、フレームイン及びフレームアウトの時点のフレーム番号を特定するようにしたが、一例であってこれに限られるものではなく、フレームイン及びフレームアウトの時点のフレーム番号の特定に際して閾値を設定するか否かは適宜任意に変更可能である。即ち、撮像装置１００は、検出領域の画素値の変動に基づいて、フレームイン及びフレームアウトの時点のフレーム番号を特定可能な構成であれば、必ずしも閾値設定部５ｄを具備する必要はない。

また、上記実施形態では、左右二つの検出領域Ａ１、Ａ２内によるフレームイン及びフレームアウトの時点のフレーム番号の特定処理は、当該被写体のフレームアウト側に対応する検出領域Ａ２から先に行うようにしたが、一例であってこれに限られるものではなく、例えば、被写体のフレームイン側に対応する検出領域Ａ１から先に行うようにしても良い。この場合、フレーム番号特定部５ｅは、検出領域Ａ１によるフレームインの時点のフレーム番号の特定処理については、復号部５ｃにより復号された全てのフレーム画像を処理対象とする一方で、検出領域Ａ２によるフレームアウトの時点のフレーム番号の特定処理については、フレームインの時点のフレーム番号を基準としても良い。

また、フレーム番号特定部５ｅは、評価値が閾値よりも大きいと判定されたフレーム番号のうち、当該閾値に対する相違度が最も大きいフレーム番号を特定するようにしたが、閾値も超えた評価値のうち最も大きい評価値に近接する評価値が複数あるときは、所定の処理を行うことでフレームイン及びフレームアウトの時点のフレーム番号を特定するようにしても良い。
つまり、フレームインの時点のフレーム番号の特定においては、最も大きい評価値に近接する複数の評価値のフレーム番号のうち、最も後のフレーム番号をフレームインの時点のフレーム番号として特定するような処理を加えることで、例えば、スイング動作におけるアドレス−トップ間、及びトップ−インパクト間での動作のうち、アドレス−トップ間の動作を所望のフレームインの時点のフレーム番号として誤って検出することを抑制できる。また、フレームアウトの時点のフレーム番号の特定においては、同様に、最も大きい評価値に近接する複数の評価値のフレーム番号のうち、最も後のフレーム番号をフレームアウトの時点のフレーム番号として特定するような処理を加えることで、インパクト以降にボールが検出領域を用いて検出された時点のフレーム番号を所望のフレームアウトの時点のフレーム番号として誤って検出することを抑制できる。

さらに、上記実施形態では、画像特定部５ｆは、所定の時点（例えば、クラブヘッドＣによりボールＢを打った瞬間のインパクト等）に関連するフレーム画像Ｆ２、Ｆ４の識別情報（例えば、フレームイン及びフレームアウトの時点のフレーム番号）を特定した後、当該識別情報に対応するフレーム画像Ｆ２、Ｆ４を特定するようにしたが、一例であってこれに限られるものではなく、必ずしもフレーム画像Ｆ２、Ｆ４を特定する必要はない。また、画像特定部５ｆは、例えば、フレーム番号特定部５ｅによる特定結果に基づいて、直接、動画像の画像データを構成する複数のフレーム画像から被写体の動作における所定の時点に関連するフレーム画像を特定しても良い。

さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではない。

加えて、上記実施形態にあっては、取得手段、領域設定手段、特定手段としての機能を、中央制御部１の制御下にて、画像取得部５ａ、領域設定部５ｂ、画像特定部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、領域設定処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、被写体の動作が連続的に撮像された複数の画像を取得する手段として機能させるようにしても良い。また、領域設定処理ルーチンにより中央制御部１のＣＰＵを、取得された複数の画像の各々における複数の所定位置に領域を設定する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、設定された複数の領域の各々における複数の画像間の画素値の変動に基づいて、複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する手段として機能させるようにしても良い。

同様に、閾値設定手段、判定手段、算出手段、抽出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体の動作が連続的に撮像された複数の画像を取得する取得手段と、
前記取得手段により取得された複数の画像の各々における複数の所定位置に領域を設定する領域設定手段と、
前記領域設定手段により設定された複数の領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記特定手段は、更に、
前記複数の領域の各々における前記複数の画像間の画素値の変動に基づいて、当該複数の領域の各々に被写体が存在する画像をそれぞれ特定し、特定された各領域に被写体が存在する画像のフレーム番号が所定の順序であった場合に、前記所定の時点に関連する画像を複数特定することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記複数の画像のうち、所定期間内の所定数の画像における前記領域の画素値の代表値を被写体の検出用の閾値として設定する閾値設定手段を更に備え、
前記特定手段は、前記閾値設定手段により設定された閾値を基準として、前記各領域に被写体が存在する画像をそれぞれ特定することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記各領域の画素値が前記閾値設定手段により設定された閾値よりも大きいか否かを判定する判定手段を更に備え、
前記特定手段は、前記判定手段により前記各領域の画素値が前記閾値よりも大きいと判定されると、当該領域に被写体が存在する画像を前記所定の時点に関連する画像として特定することを特徴とする請求項３に記載の画像処理装置。
＜請求項５＞
前記取得手段により取得された複数の画像から所定数の画像における前記領域の画素値の平均値又は中央値を算出する算出手段を更に備え、
前記閾値設定手段は、前記算出手段により算出された平均値又は中央値を前記代表値として設定することを特徴とする請求項３又は４に記載の画像処理装置。
＜請求項６＞
前記特定手段により特定された所定の時点に関連する複数の画像を動画像として抽出する抽出手段を更に備えたことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
画像処理装置を用いた画像処理方法であって、
被写体の動作が連続的に撮像された複数の画像を取得する処理と、
取得された複数の画像の各々における複数の所定位置に領域を設定する処理と、
設定された前記複数の領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する処理と、
を含むことを特徴とする画像処理方法。
＜請求項８＞
画像処理装置のコンピュータを、
被写体の動作が連続的に撮像された複数の画像を取得する取得手段、
前記取得手段により取得された複数の画像の各々における複数の所定位置に領域を設定する領域設定手段、
前記領域設定手段により設定された複数の領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段、
として機能させることを特徴とするプログラム。

１００ 撮像装置
１ 中央制御部
５ａ 画像取得部
５ｂ 領域設定部
５ｄ 閾値設定部
５ｅ フレーム番号特定部
５ｆ 画像特定部
Ａ１、Ａ２ 検出領域

Claims (13)

1. 被写体の動作が連続的に撮像された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する領域設定手段と、
   前記領域設定手段により設定された複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記特定手段は、更に、
   前記複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、当該複数の部分領域の各々に被写体が存在する画像をそれぞれ特定し、特定された各部分領域に被写体が存在する画像のフレーム番号が所定の順序であった場合に、前記所定の時点に関連する画像を複数特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像のうち、所定期間内の所定数の画像における前記部分領域の画素値の代表値を被写体の検出用の閾値として設定する閾値設定手段を更に備え、
   前記特定手段は、前記閾値設定手段により設定された閾値を基準として、前記各部分領域に被写体が存在する画像をそれぞれ特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記各部分領域の画素値が前記閾値設定手段により設定された閾値よりも大きいか否かを判定する判定手段を更に備え、
   前記特定手段は、前記判定手段により前記各部分領域の画素値が前記閾値よりも大きいと判定されると、当該部分領域に被写体が存在する画像を前記所定の時点に関連する画像として特定することを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段により取得された複数の画像から所定数の画像における前記部分領域の画素値の平均値又は中央値を算出する算出手段を更に備え、
   前記閾値設定手段は、前記算出手段により算出された平均値又は中央値を前記代表値として設定することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記特定手段により特定された所定の時点に関連する複数の画像を動画像として抽出する抽出手段を更に備えたことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記特定手段は、前記複数の画像のうち前記被写体の動作に基づいて前記動画像抽出の開始時点、及び終了時点に関連する画像を夫々特定し、
   前記抽出手段は、前記特定手段により特定された各画像に対応する範囲の複数の画像を前記動画像として抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記抽出手段は、前記特定手段により特定された所定の時点に関連する複数の画像が所定数以内の場合に、動画像を抽出することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記抽出手段は、前記特定手段により特定された画像に対応する範囲が所定の長さ以内の場合に、動画像を抽出することを特徴とする請求項７に記載の画像処理装置。
10. 前記領域設定手段は、前記被写体の動作に基づいて、複数の画像の各々における複数の所定位置に前記部分領域を設定することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
11. 前記領域設定手段は、前記被写体の動作の方向に基づいて、複数の画像の各々における複数の所定位置に前記部分領域を設定することを特徴とする請求項１０に記載の画像処理装置。
12. 画像処理装置を用いた画像処理方法であって、
    被写体の動作が連続的に撮像された複数の画像を取得する処理と、
    取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する処理と、
    設定された前記複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する処理と、
    を含むことを特徴とする画像処理方法。
13. 画像処理装置のコンピュータを、
    被写体の動作が連続的に撮像された複数の画像を取得する取得手段、
    前記取得手段により取得された複数の画像の各々に、前記画像の全領域よりも範囲が小さく、且つ重畳しない複数の部分領域を設定する領域設定手段、
    前記領域設定手段により設定された複数の部分領域の各々における前記複数の画像間の画素値の変動に基づいて、前記複数の画像のうち前記被写体の動作における所定の時点に関連する画像を複数特定する特定手段、
    として機能させることを特徴とするプログラム。

Images