JP5573353B2 - 撮影装置、画像表示装置、および画像表示プログラム - Google Patents

Description

本発明は、撮影装置、画像表示装置、および画像表示プログラムに関する。

次のような画像再生装置が知られている。この画像再生装置は、画像を解析し、解析結果に応じた表示効果を付して画像を再生する（例えば、特許文献１）。

特開２００６−１２９４５３号公報

しかしながら、従来の画像再生装置では、画像内の被写体の動きを特定することはできなかった。

本発明による撮影装置は、被写体を撮影する撮影手段と、撮影手段によって撮影された被写体を複数フレーム間で追尾して追尾情報を得る被写体追尾手段と、指示に基づいて撮影処理を行ない、撮影手段によって撮影された撮影画像を記憶媒体に記録させる制御手段と、制御手段によって撮影処理が行われたときに、撮影処理の所定時間前から撮影処理開始時までの間に得られた追尾情報を、撮影画像に関連付けて記憶媒体に記録させる追尾情報記録手段と、撮影画像に関連付けられた追尾情報に基づいて被写体の向きの変化を特定し、被写体の向きの変化に基づいて、撮影画像を再生する際の表示効果を決定する表示効果決定手段とを備えることを特徴とする。
本発明による画像表示装置は、被写体を含む画像と、画像の撮影時の所定時間前から撮影時までの間における被写体の追尾情報とを記憶媒体から読み出す読み出し手段と、読み出し手段によって読み出された追尾情報に基づいて被写体の向きの変化を特定し、被写体の向きの変化に基づいて画像を再生する際の表示効果を決定する表示効果決定手段と、表示効果決定手段によって決定された表示効果を付して、画像を表示装置に表示させる表示制御手段とを備えることを特徴とする。
本発明による画像表示プログラムは、被写体を含む画像と、画像の撮影時の所定時間前から撮影時までの間における被写体の追尾情報とを記憶媒体から読み出す読み出し手順と、読み出し手順によって読み出された追尾情報に基づいて被写体の向きの変化を特定し、被写体の向きの変化に基づいて画像を再生する際の表示効果を決定する表示効果決定手順と、表示効果決定手順によって決定された表示効果を付して、画像を表示装置に表示させる表示制御手順とをコンピュータに実行させることを特徴とする。

本発明によれば、画像ファイル内の追尾情報に基づいて、画像内の被写体の動きを特定することができる。

カメラの一実施の形態の構成を示すブロック図である。 第１の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。 第１の実施の形態における再生画像の具体例を示す図である。 撮影処理の流れを示すフローチャート図である。 再生処理の流れを示すフローチャート図である。 第２の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。 第２の実施の形態における再生画像の具体例を示す図である。 第３の実施の形態におけるスルー画の各フレームと撮影画像の具体例を示す図である。 第３の実施の形態における再生画像の具体例を示す図である。

―第１の実施の形態―
図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

本実施の形態におけるカメラ１００では、制御装置１０４は、スルー画表示中に、撮像素子１０３から入力される画像データに対して、テンプレートマッチング処理を行うことによって、フレーム内からテンプレート画像と類似する画像領域を特定する。なお、テンプレートマッチング処理は、公知の処理であるため説明を省略する。そして、制御装置１０４は、特定した領域をフレーム間で追尾することによって、被写体追尾を行う。制御装置１０４は、被写体追尾の結果によって特定された画像内における被写体の移動軌跡に関する情報をメモリに記録していく。例えば、制御装置１０４は、各フレームにおける被写体の中心位置の座標値、すなわち上述したテンプレートマッチング処理によって特定された画像領域の中心の座標値を時系列でメモリに記録する。

制御装置１０４は、使用者によって操作部材１０１に含まれるレリーズボタンが押下されると、撮影処理を行なって上述した画像ファイルを生成する。そして、制御装置１０４は、撮影処理を行ったときには、レリーズボタンが押下される前の一定時間、例えば３秒間分の被写体の移動軌跡に関する情報をメモリから読み出し、これを追尾情報として画像ファイルのヘッダ情報に記録する。これによって、撮影前の被写体の移動軌跡に関する情報を撮影した画像に関連付けて記録することができる。

例えば、スルー画上で被写体が図２（ａ）〜図２（ｃ）に示すように移動した場合について説明する。この場合、制御装置１０４は、図２（ａ）における被写体の中心位置２ａの座標値と、図２（ｂ）における被写体の中心位置２ｂの座標値と、図２（ｃ）における被写体の中心位置２ｃの座標値とを時系列でメモリに記録していく。そして、制御装置１０４は、使用者によってレリーズボタンが押下されたタイミングで撮影処理を行って、図２（ｄ）に示す画像２ｄを撮影し、画像ファイルを生成する。このとき、制御装置１０４は、レリーズボタンが押下される前の一定時間分の被写体の移動軌跡に関する情報として、図２（ａ）〜図２（ｃ）の各画像における被写体の中心位置の座標値をメモリから読み出し、これを追尾情報として画像ファイルのヘッダ情報に記録する。

制御装置１０４は、このように作成した画像ファイルをメモリカードスロット１０５を介してメモリカードに記録しておき、使用者からの指示に基づいて、メモリカード内の画像ファイルを対象として再生処理を行うことができる。すなわち、使用者によって操作部材１０１に含まれる再生ボタンが押下されると、メモリカード内に記録されている画像ファイルの画像をモニタ１０６に表示して再生を行う。このとき、制御装置１０４は、再生対象の画像ファイルのヘッダ情報に、被写体の移動軌跡に関する情報が記録されている場合には、被写体の移動軌跡に応じた表示効果を付して画像の再生を行う。具体的には、制御装置１０４は、再生対象の画像を被写体の移動軌跡に沿って移動させながら表示する。

ここでは、図２（ａ）〜（ｃ）に示したように被写体が移動した結果、図２（ｄ）に示す画像２ｄが撮影されて作成された画像ファイルの画像を再生する場合の例について、図３を用いて説明する。制御装置１０４は、まず、画像ファイルのヘッダ情報から被写体の移動軌跡に関する情報、例えば、被写体の中心位置の座標値の時系列データを読み出す。ここでは、図２（ａ）に示した被写体の中心位置２ａの座標値と、被写体の中心位置２ｂの座標値と、被写体の中心位置２ｃの座標値とが読み出されたものとする。

そして、制御装置１０４は、読み出した被写体の移動軌跡に関する情報に基づいて、図３（ａ）〜図３（ｃ）に示すような表示効果を付して画像２ｄを再生する。制御装置１０４は、まず、図３（ａ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ａの座標値と一致するように、画像２ｄの一部をモニタ１０６上に表示する。その後、制御装置１０４は、図３（ｂ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ｂの座標値と一致するように画像２ｄを移動させる。さらに、その後、制御装置１０４は、図３（ｃ）に示すように、画像２ｄ内の被写体の中央位置が、被写体の中心位置２ｃの座標値と一致するように画像２ｄを移動させて、モニタ１０６上に画像２ｄの全体を表示する。

これにより、再生開始時に、撮影前のスルー画上における被写体の移動軌跡に沿って画像を移動させることにより、スルー画における被写体の移動状況を再現するという表示効果を付した後、最終的には図３（ｃ）に示すように画像２ｄを全画面表示することができる。なお、図３（ｂ）と（ｃ）とにおいて、画像内に表示されている矢印は、画像再生時の被写体の移動軌跡を明示するために示したものである。この矢印は、画像中に表示してもよいし、表示しなくてもよい。

図４は、第１の実施の形態における撮影処理の流れを示すフローチャートである。図４に示す処理は、スルー画の表示が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、制御装置１０４は、撮像素子１０３から入力される画像データ、すなわちスルー画の１コマを取得して、ステップＳ２０へ進む。ステップＳ２０では、制御装置１０４は、ステップＳ１０で取得した画像データを対象として、上述したようにテンプレートマッチング処理を実行する。その後、ステップＳ３０へ進み、制御装置１０４は、テンプレートマッチング処理の結果に基づいて、画像内の追尾対象の被写体を特定し、上述したように被写体の中心位置の座標値を特定する。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０４は、ステップＳ３０で特定した被写体の中心位置の座標値をメモリに記録して、ステップＳ５０へ進む。ステップＳ５０では、制御装置１０４は、使用者によってレリーズボタンが押下されたか否かを判断する。ステップＳ５０で否定判断した場合には、ステップＳ１０へ戻り、制御装置１０４は、撮像素子１０３から次のコマの画像データを取得して、処理を繰り返す。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。

ステップＳ６０では、制御装置１０４は、上述したように撮影処理を実行して、ステップＳ７０へ進む。ステップＳ７０では、制御装置１０４は、撮影によって得た画像データに基づいて画像ファイルを生成する。その後、ステップＳ８０へ進み、制御装置１０４は、生成した画像ファイルのヘッダ情報に、被写体の移動軌跡に関する情報、すなわちメモリに記録してある被写体の中心位置の座標値の時系列データのうちの直近の所定時間、例えば３秒分のデータを追尾情報として記録して、ステップＳ９０へ進む。ステップＳ９０では、制御装置１０４は、メモリカードスロット１０５を介して、画像ファイルをメモリカードに記録して処理を終了する。

図５は、第１の実施の形態における再生処理の流れを示すフローチャートである。図５に示す処理は、使用者によって画像の再生が指示されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１１０において、制御装置１０４は、再生対象の画像ファイルをメモリカードから読み出して、ステップＳ１２０へ進む。ステップＳ１２０では、制御装置１０４は、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から、追尾情報としての被写体の移動軌跡に関する情報を読み出して、ステップＳ１３０へ進む。

ステップＳ１３０では、制御装置１０４は、ステップＳ１１０で読み出した画像ファイルから画像データを読み出し、図３を用いて上述したように、被写体の移動軌跡に関する情報に応じた表示効果を付して画像の再生を行って、処理を終了する。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、被写体追尾処理の結果に基づいて、撮影前の一定時間における被写体の移動軌跡に関する情報を特定し、これを追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、撮影時の被写体の移動軌跡を特定することが可能となる。

（２）制御装置１０４は、画像ファイルのヘッダ情報から追尾情報を読み出して、該追尾情報に基づく表示効果を付して画像を再生するようにした。これによって、撮影時の被写体の移動状況を再現した表示効果を付して画像を再生することができる。

―第２の実施の形態―
第２の実施の形態では、制御装置１０４は、スルー画表示中の被写体追尾処理において、被写体の形状の変化に応じてテンプレート画像を更新することにより、被写体が移動したり向きを変えたりすることによって、被写体の形状に変化が生じた場合でも被写体追尾を継続できるようにする。なお、図１については、第１の実施の形態と同様のため、説明を省略する。

第２の実施の形態におけるスルー画表示中のテンプレート更新処理について、図４と図６とを用いて説明する。なお、図４については、第１の実施の形態との相違点を中心に説明する。ここでは、スルー画上で被写体の向きが図６（ａ）〜図６（ｄ）に示すように変化し、図６（ｄ）に示すスルー画が表示されているタイミングで撮影が行われた結果、図６（ｅ）に示す画像６ｂが撮影される場合について説明する。

この場合、図４のステップＳ１０では、制御装置１０４は、まず、スルー画の１フレーム目、すなわち図６（ａ）に示す画像データを撮像素子１０３から取得する。そして、ステップＳ２０で、図６（ａ）に示す画像を対象として、テンプレートマッチング処理を行なう。ここでは、テンプレート画像として、あらかじめ図６（ａ）に示すテンプレート１が用意されており、制御装置１０４は、テンプレート１を用いてテンプレートマッチング処理を行なって、フレーム内における被写***置を特定する。なお、第２の実施の形態では、ステップＳ３０の処理は行わずに、ステップＳ４０ではテンプレートマッチング処理に用いたテンプレート画像、すなわちテンプレート１をメモリに記録する。

制御装置１０４は、ステップＳ１０へ戻ってスルー画の２フレーム目を取得すると、ステップＳ２０でテンプレートマッチング処理を行なうに当たって、まず追尾中の被写体の形状が変化したか否かを判定する。例えば、制御装置１０４は、前フレームでの被写体の中心位置６ａを中心にした所定範囲内を対象としてテンプレートマッチングを行い、その結果算出された類似度が所定の基準値よりも低い場合には、被写体の形状が変化したと判断する。そして、制御装置１０４は、被写体の形状が前フレームから変化したと判断した場合には、そのときの被写体の画像を新たなテンプレート画像として取得してテンプレート画像を更新し、更新後のテンプレート画像を用いてテンプレートマッチング処理を行なう。これによって、上述したテンプレート画像１は、図６（ｂ）に示すテンプレート２で更新される。

制御装置１０４は、更新したテンプレート２を用いてテンプレートマッチング処理を行なって被写***置を特定した後、ステップＳ４０でテンプレート２をメモリに記録する。制御装置１０４は、スルー画の３フレーム目以降についても同様にテンプレート画像を更新しながら処理を行なう。すなわち、図６（ｃ）に示す３フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート２を図６（ｃ）に示すテンプレート３で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート３をメモリに記録する。また、図６（ｄ）に示す４フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート３を図６（ｄ）に示すテンプレート４で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート４をメモリに記録する。

制御装置１０４は、ステップＳ５０で使用者によってレリーズボタンが押下されたと判断した場合には、ステップＳ６０で撮影処理を行って図６（ｅ）に示す画像６ｂを取得し、ステップＳ７０で画像ファイルを作成する。ステップＳ８０では、制御装置１０４は、第１の実施の形態で記録した被写体の移動軌跡に関する情報に代えて、メモリに記録してあるテンプレート画像のうち、直近の所定時間、例えば３秒間の間に記録されたテンプレート画像を追尾情報としてステップＳ７０で生成した画像ファイルのヘッダ情報に記録する。これによって、第２の実施の形態では、例えば、テンプレート１〜４の４枚のテンプレート画像が追尾情報としてヘッダ情報に記録されることになる。その後、ステップＳ９０へ進み、制御装置１０４は、画像ファイルをメモリカードに記録して、処理を終了する。

次に、第２の実施の形態における画像再生処理について、図５と図７とを用いて説明する。なお、図５については、第１の実施の形態との相違点を中心に説明する。ここでは、図７に示すように、図６（ａ）〜（ｄ）に示したように被写体が移動した結果、図６（ｅ）に示す画像６ｂが撮影されて作成された画像ファイルの画像を再生する場合の例について説明する。

制御装置１０４は、ステップＳ１１０で、再生対象の画像ファイルをメモリカードから読み出し、ステップＳ１２０で、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から追尾情報、すなわちテンプレート画像を読み出す。第２の実施の形態では、制御装置１０４は、ステップＳ１３０において、ステップＳ１２０で読み出したテンプレート画像に基づく表示効果を付して画像６ｂを表示する。具体的には、制御装置１０４は、ヘッダ情報から読み出したテンプレート画像に基づいて、被写体の向きの変化を特定し、モニタ１０６に表示する画像を被写体の向きの変化に応じて垂直軸方向に回転させて表示する。

本実施の形態で読み出されるテンプレート画像は、図６に示したテンプレート１〜４の４枚の画像であり、被写体は、テンプレート１では正面を向き、テンプレート２では左方向を向き、テンプレート３では右方向を向き、テンプレート４では正面を向いている。よって、制御装置１０４は、ステップＳ１３０では、上記各テンプレート画像における被写体の向きの変化に応じて画像６ｂを垂直方向の軸を回転軸として回転させながら表示する。

具体的には、制御装置１０４は、まず図７（ａ）に示すように、テンプレート１における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート１においては被写体は正面を向いているため、制御装置１０４は、画像６ｂを垂直軸方向に回転させずに表示する。次に、制御装置１０４は、図７（ｂ）に示すように、テンプレート２における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート２においては被写体は左を向いているため、制御装置１０４は、画像６ｂを垂直方向の軸を回転軸として左方向に所定角度だけ回転させて表示する。

次に、制御装置１０４は、図７（ｃ）に示すように、テンプレート３における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート３においては被写体は右を向いているため、制御装置１０４は、画像６ｂを垂直方向の軸を回転軸として右方向に所定角度だけ回転させて表示する。さらに、制御装置１０４は、図７（ｄ）に示すように、テンプレート４における被写体の向きに応じて画像６ｂを表示する。すなわち、テンプレート４においては被写体は正面を向いているため、制御装置１０４は、画像６ｂを垂直軸方向に回転させずに表示する。

これにより、制御装置１０４は、画像６ｂをテンプレート画像における被写体の向きの変化に応じて回転させることにより、撮影時の被写体の向きの変化を再現する表示効果を付した後、最終的には、図７（ｄ）に示すように、画像６ｂを全画面表示することができる。

以上説明した第２の実施の形態によれば、次のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、撮影前の一定時間内にテンプレートマッチング処理で用いられたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、スルー画表示中の被写体追尾処理で用いられたテンプレート画像を特定することが可能となる。

（２）制御装置１０４は、画像ファイルのヘッダ情報からテンプレート画像を読み出して、該テンプレート画像に基づいて、画像をテンプレート画像における被写体の向きの変化に応じて回転させて表示するようにした。これによって、撮影時の被写体の向きの変化を再現した表示効果を付して画像を再生することができる。

―第３の実施の形態―
第３の実施の形態では、制御装置１０４は、スルー画表示中の被写体追尾処理において、被写体の大きさの変化に応じてテンプレート画像を更新することにより、被写体が光軸方向に移動して撮影画面内における被写体の大きさが変化した場合でも被写体追尾を継続できるようにする。なお、図１については、第１の実施の形態と同様のため、説明を省略する。

第３の実施の形態におけるスルー画表示中のテンプレート更新処理について、図４と図８とを用いて説明する。なお、図４については、第１の実施の形態との相違点を中心に説明する。ここでは、スルー画上で被写体の大きさが図８（ａ）〜図８（ｃ）に示すように変化し、図８（ｃ）に示すスルー画が表示されているタイミングで撮影が行われた結果、図８（ｄ）に示す画像８ｂが撮影される場合について説明する。

この場合、図４のステップＳ１０では、制御装置１０４は、まず、スルー画の１フレーム目、すなわち図８（ａ）に示す画像データを撮像素子１０３から取得する。そして、ステップＳ２０で、図８（ａ）に示す画像を対象として、テンプレートマッチング処理を行なう。ここでは、テンプレート画像として、あらかじめ図８（ａ）に示すテンプレート１が用意されており、制御装置１０４は、テンプレート１を用いてテンプレートマッチング処理を行なって、フレーム内における被写***置を特定する。なお、第３の実施の形態では、ステップＳ３０の処理は行わずに、ステップＳ４０ではテンプレートマッチング処理に用いたテンプレート画像、すなわちテンプレート１をメモリに記録する。

制御装置１０４は、ステップＳ１０へ戻ってスルー画の２フレーム目を取得すると、ステップＳ２０でテンプレートマッチング処理を行なうに当たって、まず追尾中の被写体の大きさが変化したか否かを判定する。例えば、制御装置１０４は、前フレームでの被写体の中心位置８ａを中心にした所定範囲内を対象として、テンプレート１を用いたテンプレートマッチングを行う。そして、その結果算出された類似度が所定の基準値よりも低い場合には、テンプレート１を拡大した拡大テンプレートと、テンプレート１を縮小した縮小テンプレートとを用いて、再度テンプレートマッチング処理を行なう。

その結果、テンプレート１を用いたテンプレートマッチング処理によって算出された類似度よりも、拡大テンプレートを用いて行ったテンプレートマッチング処理によって算出された類似度や、縮小テンプレートを用いて行ったテンプレートマッチング処理によって算出された類似度の方が高い場合には、被写体の大きさが変化したと判断する。そして、制御装置１０４は、被写体の大きさが前フレームから変化したと判断した場合には、そのときの被写体の画像を新たなテンプレート画像として取得してテンプレート画像を更新し、更新後のテンプレート画像を用いてテンプレートマッチング処理を行なう。例えば、前フレームよりも被写体が大きくなった場合には、図８（ｂ）に示すテンプレート２が新たに取得され、上述したテンプレート画像１は、このテンプレート２で更新される。

制御装置１０４は、更新したテンプレート２を用いてテンプレートマッチング処理を行なって被写***置を特定した後、ステップＳ４０でテンプレート２をメモリに記録する。制御装置１０４は、スルー画の３フレーム目以降についても同様にテンプレート画像を更新しながら処理を行なう。すなわち、図８（ｃ）に示す３フレーム目については、制御装置１０４は、ステップＳ２０で上記テンプレート３を図８（ｃ）に示すテンプレート３で更新してからテンプレートマッチング処理を行い、ステップＳ４０でテンプレート３をメモリに記録する。

制御装置１０４は、ステップＳ５０で使用者によってレリーズボタンが押下されたと判断した場合には、ステップＳ６０で撮影処理を行って図８（ｄ）に示す画像８ｂを取得し、ステップＳ７０で画像ファイルを作成する。ステップＳ８０では、制御装置１０４は、第１の実施の形態で記録した被写体の移動軌跡に関する情報に代えて、メモリに記録してあるテンプレート画像のうち、直近の所定時間、例えば３秒間の間に記録されたテンプレート画像を追尾情報としてステップＳ７０で生成した画像ファイルのヘッダ情報に記録する。これによって、第３の実施の形態では、例えば、テンプレート１〜３の４枚のテンプレート画像がヘッダ情報に記録されることになる。その後、ステップＳ９０へ進み、制御装置１０４は、画像ファイルをメモリカードに記録して、処理を終了する。

次に、第３の実施の形態における画像再生処理について、図５と図９とを用いて説明する。なお、図５については、第１の実施の形態との相違点を中心に説明する。ここでは、図９に示すように、図８（ａ）〜（ｃ）に示したように被写体が移動した結果、図８（ｄ）に示す画像８ｂが撮影されて作成された画像ファイルの画像を再生する場合の例について説明する。

制御装置１０４は、ステップＳ１１０で、再生対象の画像ファイルをメモリカードから読み出し、ステップＳ１２０で、ステップＳ１１０で読み出した画像ファイルのヘッダ情報から追尾情報、すなわちテンプレート画像を読み出す。第３の実施の形態では、制御装置１０４は、ステップＳ１３０において、ステップＳ１２０で読み出したテンプレート画像に基づく表示効果を付して画像８ｂを表示する。具体的には、制御装置１０４は、ヘッダ情報から読み出したテンプレート画像に基づいて、被写体の大きさの変化を特定し、モニタ１０６に表示する画像の大きさを被写体の大きさの変化に応じて変更する。

本実施の形態で読み出されるテンプレート画像は、図８に示したテンプレート１〜３の３枚の画像であり、被写体の大きさは、テンプレート１、テンプレート２、テンプレート３の順で徐々に大きくなっている。よって、制御装置１０４は、ステップＳ１３０では、上記各テンプレート画像における被写体の大きさの変化に応じて画像８ｂの表示サイズを変化させながら表示する。

具体的には、制御装置１０４は、まず図９（ａ）に示すように、テンプレート１の大きさ応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート１の画像サイズは、テンプレート１〜３の中で最も小さいため、制御装置１０４は、画像８ｂを縮小して表示する。次に、制御装置１０４は、図９（ｂ）に示すように、テンプレート２の大きさに応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート２は、テンプレート１よりも大きく、テンプレート３よりも小さいため、制御装置１０４は、画像８ｂを図９（ａ）に示した画像サイズより大きくなるように縮小して表示する。さらに、制御装置１０４は、図９（ｃ）に示すように、テンプレート３の大きさに応じた画像サイズで画像８ｂを表示する。すなわち、テンプレート３は、テンプレート１〜３の中で最も大きいため、制御装置１０４は、画像８ｂをモニタ１０６に全画面表示する。

これにより、制御装置１０４は、画像８ｂの表示サイズをテンプレート画像の大きさの変化に応じて変更することにより、スルー画における被写体の大きさの変化を再現するという表示効果を付した後、最終的には、図９（ｃ）に示すように、画像８ｂを全画面表示することができる。

以上説明した第３の実施の形態によれば、次のような作用効果を得ることができる。
（１）制御装置１０４は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、撮影前の一定時間内にテンプレートマッチング処理で用いられたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録するようにした。これによって、撮影後に、スルー画撮影中の被写体追尾処理で用いられたテンプレート画像を特定することが可能となる。

（２）制御装置１０４は、画像ファイルのヘッダ情報からテンプレート画像を読み出して、該テンプレート画像に基づいて、画像の表示サイズをテンプレート画像の大きさの変化に応じて変更して表示するようにした。これによって、撮影時の被写体の大きさの変化を再現した表示効果を付して画像を再生することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、制御装置１０４は、スルー画の各フレームに対して被写体追尾処理を実行し、その実行結果に基づいて被写体の移動軌跡に関する情報を追尾情報として画像ファイルのヘッダ部に記録するようにした。そして、画像の再生時には、被写体の移動軌跡に関する情報に基づいて、撮影時の被写体の移動軌跡を再現するような表示効果を付すようにした。しかしながら、制御装置１０４は、被写体追尾以外の方法によって撮影時の被写体の移動軌跡を検出するようにしてもよい。例えば、カメラ１００にジャイロセンサや加速度センサを搭載し、制御装置１０４は、該ジャイロセンサや加速度センサからの出力に基づいてカメラ１００の動きを検出し、検出したデータを被写体の移動軌跡に関する情報、すなわち追尾情報として画像ファイルのヘッダ情報に記録するようにしてもよい。すなわち、ジャイロセンサや加速度センサによって検出されるカメラ１００の動きは、使用者が被写体を追尾するために撮影方向を変更するための動きである可能性が高いことから、本実施の形態では、これらのセンサからの出力に基づいて検出したカメラ１００の動きを被写体の移動軌跡に関する情報として扱うことができる。この場合、画像再生時には、制御装置１０４は、第１の実施の形態で図３（ａ）〜（ｃ）を用いて上述したように、画像ファイルのヘッダ情報に記録されている被写体の移動軌跡に関する情報に基づいて、スルー画における被写体の移動状況を再現する表示効果を付して画像を表示すればよい。

（２）上述した第１〜第３の実施の形態では、制御装置１０４は、被写体の移動軌跡に関する情報やテンプレートマッチング処理に用いたテンプレート画像を追尾情報として画像ファイルのヘッダ情報に記録する例について説明した。しかしながら、制御装置１０４は、追尾情報を撮影画像の画像ファイルとは別のデータファイルとして記録するようにしてもよい。この場合は、撮影画像の画像ファイルのヘッダ情報に、追尾情報を記録したデータファイルのファイル名を記録する等して、撮影画像の画像ファイルと追尾情報のファイルとを関連付けるようにすればよい。あるいは、両ファイルのファイル名の一部を共通にすることによって、両ファイルを関連付けてもよい。

（３）上述した第１〜第３の実施の形態では、制御装置１０４は、使用者によって操作部材１０１に含まれる再生ボタンが押下されたときに画像の再生を行なう例について説明した。しかしながら、制御装置１０４は、１枚の画像の撮影が完了したときに、撮影した画像の再生を自動的に開始するようにしてもよい。

（４）上述した第２および第３の実施の形態では、制御装置１０４は、追尾情報としてテンプレートマッチング処理に用いたテンプレート画像を画像ファイルのヘッダ情報に記録する例について説明した。しかしながら、制御装置１０４は、テンプレート画像の内容を示す情報を画像ファイルのヘッダ情報に記録するようにしてもよい。例えば、第２の実施の形態では、制御装置１０４は、テンプレート画像に代えて、テンプレート画像内で被写体がどちらの方向を向いているかを特定するための情報を追尾情報として記録してもよい。また、第３の実施の形態では、制御装置１０４は、テンプレート画像に代えて、テンプレート画像の大きさを示す情報を追尾情報として記録するようにしてもよい。

（５）上述した第１〜第３の実施の形態では、制御装置１０４は、画像ファイルのヘッダ情報に記録されている追尾情報に応じた表示効果を付して、撮影画像を再生する例について説明した。しかしながら、制御装置１０４は、画像ファイルのヘッダ情報に記録されている追尾情報に応じた表示効果を付して画像を再生した場合の再生内容を動画データに変換して記録するようにしてもよい。これによって、使用者は、動画データを再生するだけで、いつでも表示効果付きで画像を再生させることができる。

（６）上述した第１〜第３の実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、本発明はカメラ以外の他の機器にも適用可能である。また、カメラ側で図４に示す処理を実行して画像ファイルを作成し、該画像ファイルをパソコン等の他の機器（画像表示装置）へ転送して、転送先の機器で図５に示す処理を実行して画像を再生するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (11)

1. 被写体を撮影する撮影手段と、
   前記撮影手段によって撮影された前記被写体を複数フレーム間で追尾して追尾情報を得る被写体追尾手段と、
   指示に基づいて撮影処理を行ない、前記撮影手段によって撮影された撮影画像を記憶媒体に記録させる制御手段と、
   前記制御手段によって前記撮影処理が行われたときに、前記撮影処理の所定時間前から撮影処理開始時までの間に得られた前記追尾情報を、前記撮影画像に関連付けて前記記憶媒体に記録させる追尾情報記録手段と、
   前記撮影画像に関連付けられた前記追尾情報に基づいて前記被写体の向きの変化を特定し、前記被写体の向きの変化に基づいて、前記撮影画像を再生する際の表示効果を決定する表示効果決定手段とを備えることを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記表示効果決定手段は、前記被写体の向きの変化に基づいて、前記撮影画像を回転させる方向を決定することを特徴とする撮影装置。
3. 請求項２に記載の撮影装置において、
   前記表示効果決定手段によって決定された回転方向に前記撮影画像を回転させる表示効果を付して、前記撮影画像を表示装置に表示させる表示制御手段をさらに備えることを特徴とする撮影装置。
4. 請求項１〜３のいずれか一項に記載の撮影装置において、
   前記被写体追尾手段は、テンプレート画像を用いたテンプレートマッチング処理を行なって被写体追尾を行い、
   前記追尾情報記録手段は、前記撮影処理の所定時間前から撮影処理開始時までに用いられた前記テンプレート画像を前記追尾情報として記録することを特徴とする撮影装置。
5. 請求項４に記載の撮影装置において、
   前記追尾情報を取得する際に、前記撮影手段によって撮影された前記被写体の形状が変化したか否かを判定する判定手段と、
   前記判定手段によって前記被写体の形状が変化したと判定された場合、前記テンプレート画像を前記撮影手段によって撮影された前記撮影画像に更新するテンプレート更新手段とをさらに備え、
   前記追尾情報記録手段は、前記テンプレート更新手段によって更新された前記テンプレート画像を記憶することを特徴とする撮影装置。
6. 請求項１〜５のいずれか一項に記載の撮影装置において、
   前記追尾情報記録手段は、撮影装置の動きを検出するセンサからの出力に基づいて取得されたデータの時系列データを、前記撮影処理の所定時間から撮影処理開始時までの間における前記被写体の移動軌跡に関する情報として記録することを特徴とする撮影装置。
7. 請求項１〜６のいずれか一項に記載の撮影装置において、
   前記表示効果決定手段によって決定された表示効果を付した前記撮影画像の再生内容を動画データとして前記記憶媒体に記録する動画記録手段をさらに備えることを特徴とする撮影装置。
8. 被写体を含む画像と、前記画像の撮影時の所定時間前から前記撮影時までの間における前記被写体の追尾情報とを記憶媒体から読み出す読み出し手段と、
   前記読み出し手段によって読み出された前記追尾情報に基づいて前記被写体の向きの変化を特定し、前記被写体の向きの変化に基づいて前記画像を再生する際の表示効果を決定する表示効果決定手段と、
   前記表示効果決定手段によって決定された表示効果を付して、前記画像を表示装置に表示させる表示制御手段とを備えることを特徴とする画像表示装置。
9. 請求項８に記載の画像表示装置において、
   前記表示効果決定手段は、前記被写体の向きの変化に基づいて、前記画像を回転させる方向を決定し、
   前記表示制御手段は、前記表示効果決定手段によって決定された回転方向に前記画像を回転させる表示効果を付して、前記画像を表示装置に表示させることを特徴とする画像表示装置。
10. 請求項９に記載の画像表示装置において、
    前記追尾情報は、前記画像の撮影時の所定時間前から前記撮影時までの間に、被写体追尾のために行われたテンプレートマッチング処理で用いられたテンプレート画像であることを特徴とする画像表示装置。
11. 被写体を含む画像と、前記画像の撮影時の所定時間前から前記撮影時までの間における前記被写体の追尾情報とを記憶媒体から読み出す読み出し手順と、
    前記読み出し手順によって読み出された前記追尾情報に基づいて前記被写体の向きの変化を特定し、前記被写体の向きの変化に基づいて前記画像を再生する際の表示効果を決定する表示効果決定手順と、
    前記表示効果決定手順によって決定された表示効果を付して、前記画像を表示装置に表示させる表示制御手順とをコンピュータに実行させるための画像表示プログラム。

Images