JP5532561B2 - 撮像装置、画像再生装置、画像変換装置、画像再生プログラム - Google Patents

Description

本発明は、動画像の生成、再生表示および変換に関する。

従来、所定のフレームレートで記録された動画像の再生において、通常再生時はフレームを間引いて再生し、スロー再生時はフレームを間引かずに再生することで、通常再生とスロー再生のいずれであってもスムースな動画像を再生するようにした画像処理装置が知られている（特許文献１参照）。

特開２００４−１２９２１７号公報

特許文献１に開示される従来の画像処理装置において再生対象とされる動画像は、スロー再生時にもスムースに再生できるように比較的高いフレームレートで記録されたものである。被写体の動きが大きい場合は、動画像の品質を確保するために、このように高いフレームレートで動画像を記録する必要がある。しかし、被写体の動きが小さい場合は、必ずしも高いフレームレートで動画像を記録する必要がないことから、動画像の情報量を減らすためにフレームレートを下げることが好ましい。このように従来は、被写体の動きに応じて動画像のフレームレートを最適化することができなかった。

本発明による撮像装置は、被写体を撮像した複数の画像信号を第１フレームレートにより読み出す撮像手段と、第１フレームレートにより読み出された画像信号に基づいて被写体の動きを検出する検出手段と、第１フレームレート以下の複数のフレームレート値の中から、検出手段により検出された被写体の動きが大きいほど高い第２フレームレートを設定する設定手段と、撮像手段から出力される画像信号に基づいて、ユーザからの撮影指示が行われると、その撮影指示の直前に設定手段により設定された第２フレームレートで動画像の生成を開始する生成手段とを備え、生成手段は、ユーザからの撮影指示が行われた後に設定手段により第２フレームレートの設定が変更された場合に、動画像のフレームレートを変更された第２フレームレートに途中で変化させることを特徴とする。
本発明による画像変換装置は、第１フレームレートで記録された動画像を読み込む読み込み手段と、読み込み手段により読み込まれた動画像における被写体の動きを検出する検出手段と、第１フレームレート以下の複数の値の中から、検出手段により検出された被写体の動きが大きいほど高い第２フレームレートを設定する設定手段と、設定手段により設定された第２フレームレートに基づいて動画像のフレームレートを変換する変換手段とを備え、変換手段は、設定手段による第２フレームレートの設定の変更に応じて、動画像の第２フレームレートを途中で変化させることを特徴とする。
本発明による画像再生装置は、撮画像変換装置によって第２フレームレートを変換された動画像を読み込む読み込み手段と、読み込み手段により読み込まれた動画像を再生表示する再生表示手段とを備える。
本発明による画像再生プログラムは、制御部と表示部を有する画像再生装置において実行され、画像変換装置によってフレームレートを変換された動画像を読み込む読み込みステップと、読み込みステップで読み込まれた動画像を表示部に再生表示する再生表示ステップとを制御部に実行させる。

本発明によれば、被写体の動きに応じて動画像のフレームレートを最適化することができる。

−第１の実施の形態−
図面を用いて、本発明の一実施の形態によるデジタルカメラについて説明する。図１は本実施の形態によるデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、撮影レンズ１０、入力装置１３、焦点調節装置１４、撮像素子１５、制御回路１６、ＤＲＡＭ１７、フラッシュメモリ１８、ＬＣＤ駆動回路１９、液晶モニタ２０およびメモリカードインタフェース（Ｉ／Ｆ）２１を備える。

撮像素子１５は、画素に対応する複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１５は、撮像面上に結像されている被写体像を撮像し、被写体像の明るさに応じた光電変換信号（画像信号）を出力する。撮像素子１５の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子１５がカラーフィルタを通して被写体像を撮像するため、各撮像素子から出力される画像信号は、それぞれＲＧＢ表色系の色情報を有する。

撮像素子１５から出力された画像信号は制御回路１６に入力される。制御回路１６は、画像信号に対して種々の画像処理を行い、静止画像または動画像のデータを生成する。そして、制御回路１６は生成されたこれらの画像データに対して、ＪＰＥＧ（静止画像の場合）、ＭｏｔｉｏｎＪＰＥＧ（動画像の場合）などの所定の方式により圧縮処理を行い、メモリカードインタフェース２１を介して記録媒体２２へ記録する。これにより、デジタルカメラ１が被写体を撮影して得られた静止画像または動画像が記録媒体２２に記録される。制御回路１６は、たとえばＲＩＳＣなどで構成され、図１に示す各回路を制御する。

焦点調節装置１４は、撮像素子１５から出力される撮像信号に基づいて周知の焦点評価値演算を行い、演算結果を制御回路１６へ出力する。制御回路１６は、上記演算結果に基づいて、焦点評価値が最大となる位置へ撮影レンズ１０を移動する。

ＤＲＡＭ１７は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される。表示用画像データは、制御回路１６が撮像素子１５からの出力に基づいて生成した画像データ、もしくは記録媒体２２に記録されている画像データに基づいて、制御回路１６により生成される。生成された表示用画像データは、制御回路１６によりＤＲＡＭ１７に格納される。フラッシュメモリ１８は、たとえば制御回路１６が演算を行なうための各種の処理プログラムが記憶された不揮発性メモリである。

ＬＣＤ駆動回路１９は、制御回路１６の命令に基づいて液晶モニタ２０を駆動し、液晶モニタ２０に各種の画像を表示させる。制御回路１６がＬＣＤ駆動回路１９を制御することにより、液晶モニタ２０は、たとえば、記録媒体２２に記録された撮影画像を再生表示したり、デジタルカメラ１の各種設定メニュー画面を表示したりする。

入力装置１３は、ユーザがデジタルカメラ１を操作する際に用いられる複数のボタンである。入力装置１３は、電源ボタンやレリーズボタンに加えて、後で説明する各種の操作ボタンを含む。

次に、デジタルカメラ１において動画像を記録する際の処理について説明する。デジタルカメラ１は、動画像を記録する際に、制御回路１６において図２に示すフローチャートを実行する。

ステップＳ１００において、制御回路１６は、撮像素子１５から出力される画像信号に基づいて、被写体の輝度を測定する。そして、測定した被写体の輝度に基づいて、撮影に最適なＩＳＯ感度を選択する。こうして選択されたＩＳＯ感度に応じて、制御回路１６は撮像素子１５に対する電荷の蓄積制御を行う。

ステップＳ１１０において、制御回路１６は、被写体の動きを検出する。たとえば、撮像素子１５から出力される画像信号に基づいて、フレーム間における画像の差分を求め、その差分から被写体の動きを検出する。このとき、画像中で最も動きの大きい部分を被写体と判断し、それ以外の部分を背景と判断してもよい。あるいは、他の方法により被写体の動きを検出してもよい。たとえば、人物の顔の特徴を示す部分や、予め定められた対象の特徴に合致する部分などをパターンマッチングにより検出し、その部分の動きを追跡してもよい。

ステップＳ１２０において、制御回路１６は、ステップＳ１１０の処理による被写体の動きの検出結果に基づいて、最適なフレームレートを設定する。ここでは、所定の複数のフレームレート値の中からいずれかのフレームレート値を選択することにより、フレームレートの設定を行う。たとえば、６０ｆｐｓ（フレーム毎秒）、３０ｆｐｓ、１５ｆｐｓ、５ｆｐｓまたは１ｆｐｓの各フレームレート値の中から、被写体の動きに応じていずれかを選択する。このとき、被写体の動きが大きいほどフレームレートが高くなるように、フレームレート値を選択する。

なお、上記で例示したフレームレート値の各々は、いずれも上位のフレームレート値の約数となっている。ここでいう上位のフレームレート値とは、いずれかのフレームレート値に注目したときに、それよりも高いフレームレート値のことである。すなわち上記の例では、３０ｆｐｓのフレームレート値に対しては、６０ｆｐｓが上位のフレームレート値であり、１５ｆｐｓのフレームレート値に対しては、６０ｆｐｓおよび３０ｆｐｓが上位のフレームレート値である。また、５ｆｐｓのフレームレート値に対しては、６０ｆｐｓ、３０ｆｐｓおよび１５ｆｐｓが上位のフレームレート値であり、１ｆｐｓのフレームレート値に対しては、６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓおよび５ｆｐｓが上位のフレームレート値である。なお、６０ｆｐｓは最上位のフレームレート値であるため、これより上位のフレームレート値は存在しない。

ユーザからの撮影指示が行われる前であってまだ動画像を撮影していない場合には、上記のステップＳ１２０でフレームレートが設定されることにより、後で説明するステップＳ１４０で動画像の撮影を開始する際のフレームレートが決定される。また、既にユーザからの撮影指示が行われた後であって動画像を撮影中である場合には、ステップＳ１２０でフレームレートが設定されることにより、動画像の途中でフレームレートの設定が変更される。

ステップＳ１３０において、制御回路１６は、動画像を撮影中であるか否かを判定する。ユーザが入力装置１３を用いて所定の操作を行うことにより撮影指示を入力すると、デジタルカメラ１において動画像の撮影が開始される。動画像を撮影中である場合、制御回路１６はステップＳ１４０へ進む。一方、動画像を撮影中でない場合、制御回路１６はステップＳ１４０を実行せずにステップＳ１５０へ進む。

ステップＳ１４０において、制御部１６は、動画像の撮影を行う。このとき制御回路１６は、撮像素子１５から出力される画像信号に基づいて、直前に実行したステップＳ１２０において設定したフレームレートの動画像を生成する。すなわち、ユーザからの撮影指示が行われた直後であれば、当該フレームレートで動画像の生成を開始する。また、ユーザからの撮影指示が行われた後にステップＳ１２０の処理によってフレームレートの設定が変更された場合は、それに応じて動画像のフレームレートを途中で変化させる。なお、ステップＳ１４０で動画像を生成する際には、そのフレームレートにしたがって、撮像素子１５から出力される画像信号が必要に応じて間引かれる。すなわち、撮像素子１５からの画像信号の出力レートは、デジタルカメラ１において設定可能な動画像のフレームレートの最大値以上である。あるいは、撮像素子１５からの画像信号の出力レートを動画像のフレームレートに応じて変化させてもよい。ステップＳ１４０を実行したら、ステップＳ１５０へ進む。

ステップＳ１５０において、制御回路１６は、動画像の撮影を終了するか否かを判定する。ユーザが入力装置１３を用いて所定の撮影停止操作をデジタルカメラ１に対して入力した場合や、記録媒体２２の記録容量が残り少ない場合、撮影開始から所定の時間が経過した場合などに、制御回路１６は動画像の撮影を終了すると判定してステップＳ１６０へ進む。一方、このような撮影終了条件を満たさない場合、制御回路１６は動画像の撮影を終了しないと判定してステップＳ１１０へ戻り、上述したステップＳ１１０〜Ｓ１４０の処理を繰り返す。これにより、撮影開始前や動画像の途中において、ステップＳ１１０の処理により被写体の動きを検出し、その検出結果に応じて、ステップＳ１２０の処理によりフレームレートの設定を変更できるようにする。

ステップＳ１６０において、制御回路１６は、それまでに実行したステップＳ１４０の処理によって生成された動画像に基づいて、記録用の動画像ファイルを作成する。このとき制御回路１６は、ステップＳ１４０で生成した動画像に対して、そのフレームレートを表すフレームレート情報を付加する。フレームレート情報は動画像のヘッダファイルに対して付加され、各フレームの画像が記録されているフレームレートをフレーム毎に表す。または、動画像の各フレームの画像に対してそれぞれフレームレート情報を付加してもよい。この場合、画像のメタ情報の一部としてフレームレート情報を付加することができる。ステップＳ１６０で作成された動画像ファイルは、記録媒体２２に記録される。

なお、ステップＳ１６０で動画像ファイルを作成する際に用いられる撮影中に生成された動画像の情報は、ＤＲＡＭ１７または記録媒体２２によって一時的に記憶される。この動画像は、前述のようにステップＳ１２０で設定されたフレームレートで記録されている。したがって、動画像の撮影中に被写体の動きが変化した場合は、その変化に応じて動画像の途中でフレームレートが変更されている。

ステップＳ１６０を実行したら、制御回路１６は図２のフローチャートを終了する。以上説明したようにして動画像の記録処理が実行される。

次に、デジタルカメラ１において記録された動画像を再生する際の処理について説明する。デジタルカメラ１は、動画像を再生する際に、制御回路１６において図３に示すフローチャートを実行する。

ステップＳ２００において、制御回路１６は、図２の動画像記録処理によって記録された動画像ファイルを記録媒体２２から読み込む。この際、記録媒体２２に記録されている動画像ファイルの中から、読み込み対象とする動画像ファイルをユーザに指定させるようにしてもよい。

ステップＳ２１０において、制御回路１６は、ステップＳ２００で読み込んだ動画像ファイルに対して付加されているフレームレート情報に基づいて、動画像を再生する際の再生フレームレートを決定する。具体的には、当該フレームレート情報が表すフレームレートのうちで最大のものを再生フレームレートとする。たとえば、６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓ、５ｆｐｓの各フレームレート値で動画像ファイルが記録されている場合は、６０ｆｐｓを再生フレームレートとする。

ステップＳ２２０において、制御回路１６は、ステップＳ２１０で決定した再生フレームレートに基づいて、ステップＳ２００で読み込んだ動画像ファイルの各フレームの画像を再生フレームレートに合わせて複製する。すなわち、再生フレームレートよりも低いフレームレートで記録されている部分について、その部分の各フレームの画像を再生フレームレートに足りない分だけ複製する。これにより、フレームレートが低い部分について画像を補間し、再生フレームレートで再生表示できるようにする。

ステップＳ２２０で各フレームの画像を再生フレームレートに合わせて複製する様子を図４により説明する。図４において、左側には読み込んだ動画像ファイルの構成を示し、右側には画像複製後の動画像ファイルの構成を示している。ここでは、読み込んだ動画像ファイルがａ〜ｚの各部分に分かれており、その各部分のフレームレートが６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓまたは５ｆｐｓである場合を例に説明を行う。

図４に示す動画像ファイルにおいてフレームレート情報が表す最大のフレームレートは６０ｆｐｓであるため、この６０ｆｐｓが再生フレームレートとして設定される。その後、再生フレームレートを各部分のフレームレートで除算することにより、部分ごとに複製後の画像の枚数を求め、その枚数に応じて画像を複製する。

たとえば、ａの部分のフレームレートは５ｆｐｓであるため、ａの部分に対する複製後の画像枚数は６０／５＝１２と求められる。この計算結果に基づいて、ａの部分に含まれる各フレームの画像を１１枚ずつ複製し、元の画像と合わせて１２枚となるようにする。一方、ｂの部分のフレームレートは再生フレームレートと同じ６０ｆｐｓであるため、画像の複製は行わない。

また、ｘの部分のフレームレートは３０ｆｐｓであるため、ｘの部分に対する複製後の画像枚数は６０／３０＝２と求められる。この計算結果に基づいて、ｘの部分に含まれる各フレームの画像を１枚ずつ複製し、元の画像と合わせて２枚となるようにする。さらに、ｙの部分のフレームレートは１５ｆｐｓであるため、ｙの部分に対する複製後の画像枚数は６０／１５＝４と求められる。この計算結果に基づいて、ｙの部分に含まれる各フレームの画像を３枚ずつ複製し、元の画像と合わせて４枚となるようにする。なお、ｚの部分はフレームレートがａの部分と同じ５ｆｐｓであるため、ａの部分と同様にして画像を複製する。

上記で説明した以外の各部分についても、同様の方法により再生フレームレートに合わせて画像の複製を行う。こうして画像を複製することで、読み込んだ動画像ファイルにおいてフレームレートが低い部分の画像が補間される。なお、動画像ファイルのフレームレートが途中で変化せずに一定の場合には、ステップＳ２２０の処理を行う必要はない。

ところで、前述のステップＳ１２０で動画像のフレームレートを設定する際には、選択可能なフレームレート値の各々がいずれも上位のフレームレート値の約数となるようにしていた。こうすることにより、いずれのフレームレート値が再生フレームレートに設定されても、その再生フレームレートを動画像の各部分のフレームレートで除算して得られる値を常に整数値とすることができる。したがって、再生フレームレートに合わせて画像を複製し、補間することができる。

あるいは、図５のような動画像ファイルの構成としてもよい。この動画像ファイルでは、各部分の画像の複製枚数がヘッダファイル内に記録されている。したがって、上記のように再生フレームレートを各部分のフレームレートで除算しなくても、各部分の画像の複製枚数を求めることができる。

ステップＳ２３０において、制御回路１６は、ステップＳ２２０で各フレームの画像を複製した後の動画像ファイルに基づいて、各フレームの画像をステップＳ２１０で決定した再生フレームレートで液晶モニタ２０に順次再生表示する。これにより、ステップＳ２００で読み込んだ動画像ファイルにおいて動画像の途中でフレームレートが変化している場合、最大のフレームレートで動画像が再生表示される。

ステップＳ２４０において、制御回路１６は、動画像の再生を終了するか否かを判定する。ユーザが入力装置１３を用いて所定の再生終了操作をデジタルカメラ１に対して入力した場合や、動画像ファイルに含まれる全てのフレームの再生を完了した場合などに、制御回路１６は動画像の再生を終了すると判定して図３のフローチャートを終了する。一方、このような再生終了条件を満たさない場合、制御回路１６は動画像の撮影を終了しないと判定してステップＳ２３０へ戻り、上述したステップＳ２３０の処理を繰り返す。以上説明したようにして動画像の再生処理が実行される。

以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮像素子１５により、被写体を撮像して画像信号を出力する。また、制御回路１６の処理により、被写体の動きを検出し（ステップＳ１１０）、検出した被写体の動きに基づいてフレームレートを設定する（ステップＳ１２０）。そして、撮像素子１５から出力される画像信号に基づいて、ステップＳ１２０で設定したフレームレートの動画像を生成する（ステップＳ１４０）。このようにしたので、被写体の動きに応じて動画像のフレームレートを最適化することができる。

（２）入力装置１３を用いてユーザからの撮影指示が行われると、制御回路１６はステップＳ１４０において、その直前にステップＳ１２０で設定されたフレームレートで動画像の生成を開始する。このようにしたので、最適なフレームレートで動画像の生成を開始することができる。

（３）また、ユーザからの撮影指示が行われた後に被写体の動きが変化することにより、ステップＳ１２０でフレームレートの設定が変更された場合、制御回路１６はステップＳ１４０において、動画像のフレームレートを途中で変化させる。このようにしたので、動画像の撮影中に被写体の動きが変化した場合でも、動画像のフレームレートを最適化することができる。

（４）制御回路１６は、ステップＳ１２０でフレームレートを設定する際に、６０ｆｐｓ、３０ｆｐｓ、１５ｆｐｓ、５ｆｐｓ、１ｆｐｓなどの所定の複数のフレームレート値の中からいずれかのフレームレート値を選択する。ここで選択される複数のフレームレート値の各々は、いずれも上位のフレームレート値の約数である。このようにしたので、動画像を再生表示する際に、決定された再生フレームレートに合わせて画像を複製し、補間することができる。

（５）動画像の撮影が終了すると、デジタルカメラ１は、制御回路１６の処理により動画像のファイルを作成する（ステップＳ１６０）。この際、ステップＳ１４０で生成した動画像のヘッダファイル、またはステップＳ１４０で生成した動画像の各フレームの画像に対して、フレームレート情報を付加する。このようにしたので、動画像を再生表示する際に再生フレームレートを決定することができる。

（６）デジタルカメラ１は、制御回路１６の処理により、動画像生成処理によって生成された動画像を記録媒体２２から読み込み（ステップＳ２００）、読み込んだ動画像を再生表示する（ステップＳ２３０）。このようにしたので、デジタルカメラ１において生成した動画像を再生表示することができる。

（７）動画像の途中でフレームレートが変化している場合、制御回路１６は、ステップＳ２３０において、その動画像において最大のフレームレートで動画像を再生表示する。このようにしたので、フレームレートが途中で変化する動画像を、その画質を損なうことなく再生表示することができる。

−第２の実施の形態−
次に、本発明の第２の実施の形態について説明する。本実施の形態では、デジタルカメラ１において記録された動画像をデジタルカメラ１以外の他の装置において再生する場合について説明する。図２は、本実施の形態の構成を示しており、デジタルカメラ１とコンピュータ３を有している。デジタルカメラ１の回路構成は、図１に示す第１の実施の形態のものと同一である。

コンピュータ３は、操作部３１、制御部３２、表示部３３、記録部３４およびメモリカードインタフェース３５を備える。操作部３１は、ユーザの操作を検出するための部分であり、たとえばキーボードやマウス等によって構成される。制御部３２は、ＣＰＵやメモリなどによって構成され、各種の処理を実行する。表示部３３は、制御部３２の制御により様々な画像を表示するための部分であり、たとえば液晶ディスプレイ等によって構成される。記録部３４は、各種のプログラムやデータを記録するための部分であり、たとえばハードディスクやフラッシュメモリ等によって構成される。

メモリカードインタフェース３５は、デジタルカメラ１のメモリカードインタフェース２１と同様に、制御部３２と記録媒体２２の間で送受信されるデータのインタフェース処理を行う。メモリカードインタフェース３５には、デジタルカメラ１から取り外された記録媒体２２が装着される。

次に、本実施形態においてデジタルカメラ１が動画像を記録する際に実行する処理について説明する。デジタルカメラ１は、動画像を記録する際に、制御回路１６において図７に示すフローチャートを実行する。なお、図７のフローチャートにおいて、図２に示す第１の実施の形態のフローチャートと同一の処理には同じステップ番号を付している。この同一の処理を行う部分については説明を省略する。

ステップＳ１７１において、制御回路１６は、ステップＳ１６０で作成した動画像ファイルに対する解凍プログラムを作成する。この解凍プログラムは、当該動画像ファイルを読み込んだコンピュータ３に対して、その動画像のフレームレートを一定にするための指令を行うプログラムである。すなわち、コンピュータ３に対して、第１の実施の形態において説明したようにして再生フレームレートを設定させ、その再生フレームレートに合わせて画像を複製させる処理を行わせるためのプログラムを作成する。

ステップＳ１８１において、制御回路１６は、ステップＳ１６０で作成した動画像ファイルに対して、ステップＳ１７１で作成した解凍プログラムを付加する。これにより、図８に示すような構成の動画像ファイルが作成される。この動画像ファイルは記録媒体２２に記録される。ステップＳ１８１を実行したら、制御回路１６は図７のフローチャートを終了する。以上説明したようにして動画像の記録処理が実行される。

なお、本実施の形態では、上記のようにして動画像ファイルに解凍プログラムが付加されるため、フレームレート情報がなくても所望のフレームレートで動画像を再生することができる。したがって、ステップＳ１６０において動画像ファイルを作成する際にはフレームレート情報を付加しなくてもよい。

次に、上記のようにして生成された動画像が記録された記録媒体２２がコンピュータ３のメモリカードインタフェース３５に装着されたときに、コンピュータ３においてその動画像を再生する際の処理について説明する。コンピュータ３は、動画像を再生する際に、制御部３２において図９に示すフローチャートを実行する。

ステップＳ３００において、制御部３２は、デジタルカメラ１が図７の動画像生成処理を実行することで生成された動画像ファイルを記録媒体２２から読み込む。この際、記録媒体２２に記録されている動画像ファイルの中から、読み込み対象とする動画像ファイルをユーザに指定させるようにしてもよい。

ステップＳ３１０において、制御部３２は、ステップＳ３００で読み込んだ動画像ファイルに対して付加されている解凍プログラムを実行する。この解凍プログラムを実行することにより、図３のステップＳ２１０およびＳ２２０と同様の処理が制御部３２において実行される。その結果、当該動画像ファイルにおけるフレームレートのうちで最大のフレームレートが再生フレームレートに設定されると共に、それよりもフレームレートが低い部分について複製した画像が補間される。

ステップＳ３２０において、制御部３２は、図３のステップＳ２３０と同様に、ステップＳ３１０で解凍プログラムを実行することにより各フレームの画像を補間した後の動画像ファイルに基づいて、各フレームの画像を再生フレームレートで液晶モニタ２０に順次再生表示する。次のステップＳ３３０において、制御部３２は、図３のステップＳ２４０と同様に、動画像の再生を終了するか否かを判定する。前述のような再生終了条件を満たす場合は図９のフローチャートを終了し、満たさない場合はステップＳ３２０へ戻る。以上説明したようにして動画像の再生処理が実行される。

以上説明した第２の実施の形態によれば、第１の実施の形態による作用効果に加えて、さらに次の作用効果も得られる。
（１）デジタルカメラ１は、制御回路１６の処理により、解凍プログラムを動画像に付加する（ステップＳ１８１）。この解凍プログラムにより、当該動画像を読み込んだコンピュータ３に対して、その動画像のフレームレートを一定にするための指令を行う。このようにしたので、コンピュータ３に特別なプログラムが予めインストールされていなくても、デジタルカメラ１により生成された動画像をコンピュータ３において再生表示することができる。

−第３の実施の形態−
次に、本発明の第３の実施の形態について説明する。本実施の形態では、図６のコンピュータ３において、一定のフレームレートで記録された通常の動画像を被写体の動きに応じたフレームレートの動画像に変換する場合について説明する。

本実施形態において、通常の動画像が記録された記録媒体２２がコンピュータ３のメモリカードインタフェース３５に装着されたときに、コンピュータ３において実行される処理について説明する。コンピュータ３は、動画像を変換する際に、制御部３２において図１０に示すフローチャートを実行する。なお、図１０のフローチャートにおいて、図９に示す第２の実施の形態のフローチャートと同一の処理には同じステップ番号を付している。この同一の処理を行う部分については説明を省略する。

ステップＳ３０１において、制御部３２は、ステップＳ３００で読み込んだ動画像ファイルにおける被写体の動きを検出する。たとえば、フレーム間における画像の差分を求め、その差分から被写体の動きを検出する。なお、このとき図２のステップＳ１１０と同様に、画像中で最も動きの大きい部分を被写体と判断し、それ以外の部分を背景と判断してもよい。

ステップＳ３０２において、制御部３２は、ステップＳ３０１の処理による被写体の動きの検出結果に基づいて、図２のステップＳ１２０と同様に最適なフレームレートを設定する。すなわち、所定の複数のフレームレート値の中からいずれかのフレームレート値を選択することにより、フレームレートの設定を行う。なお、被写体の動きが変化した場合は、動画像の途中でフレームレートの設定が変更される。

ステップＳ３０３において、制御部３２は、ステップＳ３０２で設定したフレームレートが元のフレームレートと一致しているか否かを判定する。一致している場合はステップＳ３０５へ進み、一致していなければステップＳ３０４へ進む。

ステップＳ３０４において、制御部３２は、ステップＳ３００で読み込んだ動画像ファイルのフレームレートを、ステップＳ３０２で設定したフレームレートに変換する。ここでは、動画像ファイルの全体ではなく一部分についてのみフレームレートを変換する。具体的には、ステップＳ３０２で被写体の動きを検出したフレームに対して、フレームレートを変換する。

なお、ステップＳ３０４でフレームレートを変換する際には、元のフレームレートとの差に応じて、画像を補間または削除する。すなわち、元のフレームレートよりも高いフレームレートが設定された場合、制御部３２は、前後いずれかの画像を複製したり、あるいは前後の画像に基づいて新たな画像を生成したりすることにより、不足している画像を補間する。反対に、元のフレームレートよりも低いフレームレートが設定された場合、制御部３２は、不要な画像を削除する。このようにして、変換後のフレームレートに応じた枚数の画像を動画像ファイルに対して設定する。

ステップＳ３０５において、制御部３２は、ステップＳ３００で読み込んだ動画像ファイルの全フレームに対して、ステップＳ３０２の処理によるフレームレートの設定が完了したか否かを判定する。まだ完了していない場合はステップＳ３０２へ戻り、前述のような処理を繰り返す。全フレームに対してフレームレートの設定が完了した場合は、ステップＳ３０６へ進む。

ステップＳ３０６において、制御部３２は、フレームレート変換後の動画像ファイルに対する解凍プログラムを作成する。ここでは、図７のステップＳ１７１と同様の解凍プログラムを作成する。次のステップＳ３０７において、制御部３２は、フレームレート変換後の動画像ファイルに対して、ステップＳ３０６で作成した解凍プログラムを付加する。ステップＳ３０６を実行したら、制御回路１６は図１０のフローチャートを終了する。以上説明したようにして動画像の変換処理が実行される。

なお、図１０のフローチャートに示す動画像の変換処理によってフレームレートを変換された動画像は、コンピュータ３において図９のフローチャートが実行されることにより再生表示される。すなわち、ステップＳ３００でフレームレート変換後の動画像ファイルを読み込み、ステップＳ３１０で解凍プログラムを実行して各フレームの画像を補間した後、ステップＳ３２０でその動画像ファイルを再生表示する。あるいは、他のコンピュータにおいて図９のフローチャートを実行し、動画像を再生表示するようにしてもよい。

以上説明した第３の実施の形態によれば、次の作用効果が得られる。
（１）コンピュータ３は、制御部３２の処理により、動画像を記録媒体２２から読み込み（ステップＳ３００）、読み込んだ動画像における被写体の動きを検出する（ステップＳ３０１）。そして、検出した被写体の動きに基づいてフレームレートを設定し（ステップＳ３０２）、設定したフレームレートに基づいて動画像のフレームレートを変換する（ステップＳ３０４）。このようにしたので、フレームレートが一定の動画像に対して、その動画像の被写体の動きに応じてフレームレートを最適化することができる。

（２）被写体の動きが変化することによりステップＳ３０２でフレームレートの設定が変更された場合、制御部３２は、そのフレームレートの設定の変更に応じて、動画像のフレームレートを途中で変化させる。このようにしたので、被写体の動きが変化した場合でも、動画像のフレームレートを最適化することができる。

なお、図３および９のフローチャートで説明したような動画像再生処理をコンピュータ３の制御部３２に実行させるプログラムや、図１０のフローチャートで説明したような動画像変換処理をコンピュータ３の制御部３２に実行させるプログラムを、コンピュータ３に対して供給してもよい。これらのプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で供給してもよいし、ネットワーク上で送受信される搬送波に重畳された信号波により供給してもよい。

本発明の特徴を損なわない限り、本発明は上記の各実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

なお、以上の対応関係の説明は一例であり、権利解釈に際して何ら拘束されるものではない。

第１の実施の形態によるデジタルカメラの構成を示すブロック図である。 第１の実施の形態によるデジタルカメラが動画像を記録する際に実行する処理のフローチャートである。 第１の実施の形態によるデジタルカメラが動画像を再生する際に実行する処理のフローチャートである。 各フレームの画像を再生フレームレートに合わせて複製する様子を説明するための図である。 第１の実施の形態によるデジタルカメラが生成する動画像ファイルの別の構成を示す図である。 第２および第３の実施の形態の構成を示す図である。 第２の実施の形態によるデジタルカメラが動画像を記録する際に実行する処理のフローチャートである。 第２の実施の形態によるデジタルカメラが生成する動画像ファイルの構成を示す図である。 第２の実施の形態によるコンピュータが動画像を再生する際に実行する処理のフローチャートである。 第３の実施の形態によるコンピュータが動画像を変換する際に実行する処理のフローチャートである。

符号の説明

１ デジタルカメラ
３ コンピュータ
１５ 撮像素子
１６ 制御回路
２０ 液晶モニタ
２２ 記録媒体
３２ 制御部
３３ 表示部

Claims (11)

1. 被写体を撮像した複数の画像信号を第１フレームレートにより読み出す撮像手段と、
   前記第１フレームレートにより読み出された画像信号に基づいて前記被写体の動きを検出する検出手段と、
   前記第１フレームレート以下の複数のフレームレート値の中から、前記検出手段により検出された前記被写体の動きが大きいほど高い第２フレームレートを設定する設定手段と、
   前記撮像手段から出力される画像信号に基づいて、ユーザからの撮影指示が行われると、その撮影指示の直前に前記設定手段により設定された前記第２フレームレートで動画像の生成を開始する生成手段とを備え、
   前記生成手段は、ユーザからの撮影指示が行われた後に前記設定手段により前記第２フレームレートの設定が変更された場合に、前記動画像のフレームレートを前記変更された第２フレームレートに途中で変化させることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記生成手段は、ユーザからの撮影指示が行われた後に前記設定手段により前記第２フレームレートの設定が変更された場合、前記動画像のフレームレートをより低いフレームレートに変更することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記複数のフレームレート値の各々は、いずれも前記第１フレームレートのフレームレート値の約数であることを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記動画像のヘッダファイルまたは前記動画像の各フレームの画像に対して、前記動画像の前記第２フレームレートの情報を付加するフレームレート情報付加手段をさらに備えることを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の撮像装置において、
   前記動画像を読み込んだ情報処理装置に対して前記動画像の前記第２フレームレートを一定にするための指令を行う解凍プログラムを前記動画像に付加する解凍プログラム付加手段をさらに備えることを特徴とする撮像装置。
6. 請求項１〜５のいずれか一項に記載の撮像装置によって生成された動画像を読み込む読み込み手段と、
   前記読み込み手段により読み込まれた動画像を再生表示する再生表示手段とを備えることを特徴とする画像再生装置。
7. 請求項６に記載の画像再生装置において、
   前記動画像の途中で前記第２フレームレートが変化している場合、前記再生表示手段は、前記動画像において前記第２フレームレートの内、最大のフレームレート値で前記動画像を再生表示することを特徴とする画像再生装置。
8. 制御部と表示部を有する画像再生装置において実行される画像再生プログラムであって、
   請求項１〜５のいずれか一項に記載の撮像装置によって生成された動画像を読み込む読み込みステップと、
   前記読み込みステップで読み込まれた動画像を前記表示部に再生表示する再生表示ステップとを前記制御部に実行させることを特徴とする画像再生プログラム。
9. 第１フレームレートで記録された動画像を読み込む読み込み手段と、
   前記読み込み手段により読み込まれた動画像における被写体の動きを検出する検出手段と、
   前記第１フレームレート以下の複数の値の中から、前記検出手段により検出された前記被写体の動きが大きいほど高い第２フレームレートを設定する設定手段と、
   前記設定手段により設定された前記第２フレームレートに基づいて前記動画像のフレームレートを変換する変換手段とを備え、
   前記変換手段は、前記設定手段による前記第２フレームレートの設定の変更に応じて、前記動画像の前記第２フレームレートを途中で変化させることを特徴とする画像変換装置。
10. 請求項９に記載の画像変換装置によって前記第２フレームレートを変換された動画像を読み込む読み込み手段と、
    前記読み込み手段により読み込まれた動画像を再生表示する再生表示手段とを備えることを特徴とする画像再生装置。
11. 制御部と表示部を有する画像再生装置において実行される画像再生プログラムであって、
    請求項９に記載の画像変換装置によってフレームレートを変換された動画像を読み込む読み込みステップと、
    前記読み込みステップで読み込まれた動画像を前記表示部に再生表示する再生表示ステップとを前記制御部に実行させることを特徴とする画像再生プログラム。
    

Images