JP2011176456A - カメラ、および画像再生装置 - Google Patents

Abstract

【課題】被写体の動きを示す情報を画像に関連付けて記録すること。
【解決手段】制御装置１０４は、長秒時露光による長秒時撮影に際して動きのある被写体を検出し、検出した動きのある被写体の動きを表す動きマップを作成し、作成した動きマップを長秒時撮影によって得た画像ファイルに関連付けて記録する。
【選択図】図１

Description

本発明は、カメラ、および画像再生装置に関する。

次のような撮像装置が知られている。この撮像装置は、動きベクトルの情報を用いて手振れ補正を行う（例えば、特許文献１）。

特開平１１−２５２４４５号公報

しかしながら、従来の撮像装置では、動きベクトルの情報を手振れ補正に用いるのみで、画像に関連付けて記録しておくことはできなかった。

本発明によるカメラは、長秒時露光による長秒時撮影に際して、または動画像撮影に際して、動きのある被写体を検出する被写体検出手段と、被写体検出手段で検出した動きのある被写体の動きを表す情報を作成する情報作成手段と、情報作成手段で作成した被写体の動きを表す情報を長秒時撮影または動画像撮影によって得た画像に関連付けて記録する記録手段とを備えることを特徴とする。
本発明では、情報作成手段は、長秒時撮影中または動画像撮影中の画像に基づいて動きベクトルを算出し、動きベクトルをマップ化した動きマップを被写体の動きを表す情報として作成するようにしてもよい。
情報作成手段は、長秒時撮影中または動画像撮影中の画像に基づいて動きベクトルを算出し、動きベクトルに基づいて特定した動きのある被写体の移動軌跡を被写体の動きを表す情報として作成するようにしてもよい。
本発明による画像再生装置は、被写体の動きを表す情報が関連付けられている画像を読み出す読み出し手段と、被写体の動きを表す情報に基づいて、画像内における被写体の移動軌跡を検出する軌跡検出手段と、軌跡検出手段によって検出された移動軌跡を表す視覚的効果を画像に付加する付加手段とを備えることを特徴とする。
本発明では、付加手段は、撮影時の測距情報に基づいて被写体までの距離を検出し、被写体までの距離も加味して視覚的効果を付加するようにしてもよい。
画像に前記視覚的効果を付加するか否かを設定する設定手段をさらに備え、付加手段は、設定手段によって視覚的効果を付加するように設定されているときに、視覚的効果を付加するようにしてもよい。
付加手段は、画像再生中は視覚的効果の付加を継続するようにしてもよい。
画像に付加する視覚的効果の種類は、使用者が選択可能であることが好ましい。

本発明によれば、被写体の動きを表す情報を画像に関連付けて記録することができる。

カメラの一実施の形態の構成を示すブロック図である。 長秒時撮影によって得た川の画像を示す図である。 長秒時撮影処理の流れを示したフローチャート図である。 動きベクトルの算出例を示す図である。 再生処理の流れを示したフローチャート図である。 被写体の移動経路の具体例を示す図である。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２により結像した被写体像を撮像する。そして、撮像によって得られた画像信号を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、本画像データとサムネイル画像データとは、いずれもＲＧＢ表色系で表された画像データであるものとする。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によってカメラ１００のモードが撮影モードに設定されると、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にはスルー画が表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

本実施の形態におけるカメラ１００では、シャッター速度を遅くした長秒時露光による撮影（長秒時撮影）を行うことによって、動きのある被写体の軌跡を撮影することができる。この場合、長秒時撮影中の手振れによる像振れの発生を抑えるために、カメラ１００は三脚に固定されて撮影が行われる。例えば、長秒時撮影によって川を撮影した場合には、図２に示すように、川の流れの軌跡を表現した画像を得ることができる。

本実施の形態では、制御装置１０４は、長秒時撮影を行って取得した画像を再生する際に、画像に被写体の流れの軌跡を表す視覚的効果を付加する。例えば、図２に示す川の画像を再生する際には、川の流れに沿って輝点を移動させることによって、川がキラキラと輝きながら流れているように見せるための視覚的効果を付加する。

以下、長秒時撮影によって得た画像に視覚的効果を付加するための処理について説明する。まず、図３を用いて、長秒時撮影時に実行される長秒時撮影処理について説明し、次に、図５を用いて、長秒時撮影によって得た画像の再生時に視覚的効果を付すための再生処理について説明する。

図３は、本実施の形態における長秒時撮影処理の流れを示したフローチャートである。図３に示す処理は、使用者からの指示に基づいて長秒時撮影が開始されると起動するプログラムとして実行される。なお、本実施の形態では、図３に示す処理は、長秒時撮影処理、すなわち撮像、画像処理、および画像ファイルの記録等の一連の撮影処理と並行して行われるものとする。また、使用者は、例えば、メニュー画面上で撮影モードを長秒時撮影モードに設定した後に、操作部材１０１に含まれるレリーズボタンを押下することによって、長秒時撮影の開始を指示することができる。

ステップＳ１０において、制御装置１０４は、長秒時撮影によって撮像素子１０３から入力される画像データを対象として被写体認識処理を行って、画像内に存在する被写体を認識する。これによって、画像内に存在する人物、車、川、山、空等の種々の被写体が個別に認識される。なお、ここで行う被写体認識処理は公知の処理であるため、詳細な説明は省略する。その後、ステップＳ２０へ進む。

ステップＳ２０では、制御装置１０４は、ステップＳ１０で認識した被写体の中から、動きがある被写体のみを抽出し、画像内から当該動きがある被写体を抽出する。例えば、制御装置１０４は、ステップＳ１０で認識した被写体上に１つまたは複数の注目画素を設定し、長秒時撮影中の時刻ｔ−１と時刻ｔとにおける注目画素の位置変化を検出する。そして制御装置１０４は、注目画素の位置が変化している被写体を動きがある被写体と判定して抽出する。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、画像内を複数の領域に分割し、この複数領域の中からステップＳ２０で抽出した動きがある被写体を含む領域を対象として、被写体の動きの状態を示す動きマップを生成する。この動きマップは、画像の再生時に被写体の軌跡を特定するための情報として用いられる。

例えば、制御装置１０４は、図４に示すように、画像内を横８×縦６の４８領域に分割し、これらの領域のうち、動きがある被写体を含む領域を対象として動きベクトルを算出する。そして、制御装置１０４は、算出した動きベクトルをマップ化して動きマップを作成する。具体的には、制御装置１０４は、各領域ごとに動きベクトルによって示される被写体の移動方向に関する情報や移動速度に関する情報をデータ化し、これを各領域を特定するための情報と関連付けてマップ化することによって、動きマップを生成する。その後、ステップＳ４０へ進む。

ステップＳ４０では、制御装置１０４は、ステップＳ３０で生成した動きマップを、長秒時撮影によって得られた画像ファイルと関連付けて記録し、処理を終了する。例えば、制御装置１０４は、画像ファイルのヘッダ部に動きマップのデータを記録することにより、画像ファイルと動きマップを関連付けて記録する。または、制御装置１０４は、画像ファイルとは別ファイルとして動きマップのデータをメモリカードに記録し、画像ファイルと動きマップファイルとのファイル名の一部に同じ文字列を用いることにより、両ファイルを関連付けるようにしてもよい。

図５は、本実施の形態における再生処理の流れを示したフローチャートである。図５に示す処理は、使用者からの指示に基づいて長秒時撮影が行われた画像の再生が開始されると起動するプログラムとして実行される。なお、使用者は、例えば、モニタ１０６上で再生対象の画像を選択した後に、操作部材１０１に含まれる再生ボタンを押下することによって、画像再生の開始を指示することができる。また、本実施の形態では、上述した動きマップは、画像ファイルのヘッダ部に記録されている場合について説明する。

ステップＳ１１０において、制御装置１０４は、再生対象の画像ファイルをメモリカードから読み出した後、当該画像ファイルのヘッダ部から動きマップを読み出して、ステップＳ１２０へ進む。ステップＳ１２０では、制御装置１０４は、動きマップに基づいて、動きがある被写体の移動軌跡を検出する。具体的には、制御装置１０４は、画像内の上述した各領域ごとに記録された被写体の移動方向に関する情報や移動速度に関する情報とに基づいて動きベクトルを特定する。そして、制御装置１０４は、領域間の動きベクトルの向きに基づいて、画像内における被写体の動きの始点と終点を検出し、例えば、図６に示すように、始点６ａから終点６ｂに向かう軌跡６ｃを検出する。

その後、ステップＳ１３０へ進み、制御装置１０４は、ステップＳ１３０で検出した被写体の軌跡６ｃを表すように、再生画像に対して視覚的効果を付加する。例えば、動きのある被写体が川である場合には、川の流れ、すなわち軌跡６ｃに沿って輝点を移動させることによって、川がキラキラと輝きながら流れているように見せるための視覚的効果を付加する。あるいは、軌跡６ｃに沿って桃の画像を移動させることによって、上流から下流に向けて桃が流れているように見せるための視覚的効果を付加する。このとき、使用者は、動きのある被写体に対してどのような視覚的効果を付加するかを選択できるようにしてもよい。また、制御装置１０４は、動きマップから特定可能な各領域ごとの被写体の移動速度に基づいて、被写体の移動速度が速い部分では輝点や桃の画像を速く移動させ、被写体の移動速度が遅い部分では輝点や桃の画像をゆっくり移動させるようにしてもよい。

また、制御装置１０４は、輝点や桃の画像以外の川の流れを表現するのに適した視覚的効果を付加するようにしてもよい。その他、動きがある被写体が川以外の場合も、同様に、その被写体の動きを表現するのに適した視覚的効果を付加する。なお、制御装置１０４は、輝点や桃の画像を始点６ａから終点６ｂに向けて移動させることによって視覚的効果を付加する場合には、画像再生中は、輝点や桃の画像が終点６ｂに到達した後に改めて始点６ａから終点６ｂに向けて輝点や桃の画像を移動させることによって、繰り返し視覚的効果を付加してもよい。これによって、画像が再生されている間は、視覚的効果が継続して付加されることになる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、長秒時露光による長秒時撮影に際して動きのある被写体を検出し、検出した動きのある被写体の動きを表す動きマップを作成し、作成した動きマップを長秒時撮影によって得た画像ファイルに関連付けて記録するようにした。これによって、長秒時撮影時に被写体の動きを特定して記録しておくことができる。

（２）制御装置１０４は、長秒時撮影中の画像に基づいて動きベクトルを算出し、動きベクトルをマップ化することにより動きマップを作成するようにした。これによって、被写体の移動状態を的確に把握して動きマップを生成することができる。

（３）制御装置１０４は、画像の再生時に、画像ファイルから動きマップを読み出し、読み出した動きマップに基づいて、画像内における被写体の移動軌跡を検出し、検出した移動軌跡に沿って、画像に被写体の移動状態を表す視覚的効果を付加するようにした。これによって、使用者は動きのある被写体の移動軌跡を視覚的に把握することができる。

（４）制御装置１０４は、画像再生中は視覚的効果の付加を継続するようにした。これによって、使用者は、画像が再生されている間は、被写体の移動軌跡を継続して把握することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、長秒時撮影時に図３に示す処理を実行して動きベクトルに基づいて動きマップを作成して画像ファイルに関連付けて記録しておき、画像の再生時に図５に示す処理を実行して動きマップに基づいて被写体の軌跡を検出して視覚的効果を付加する例について説明した。しかしながら、制御装置１０４は、長秒時撮影時に動きベクトルに基づいて被写体の軌跡を検出するようにしてもよい。この場合、制御装置１０４は、被写体の軌跡を表すデータを画像ファイルに関連付けて記録しておき、画像再生時に、被写体の軌跡に基づいて視覚的効果を付加すればよい。

（２）上述した実施の形態では、長秒時撮影によって静止画を撮影し、これを再生するときに被写体の動きに応じた視覚的効果を付加する例について説明した。しかしながら、動画データを撮影する際、及び再生する際にも本発明は適用可能である。すなわち、制御装置１０４は、動画データの撮影時に図３に示す処理を行って動画の動きマップを作成し、動画再生時には図５に示す処理を行って、動画に被写体の動きに応じた視覚的効果を付加するようにしてもよい。

（３）上述した実施の形態では、制御装置１０４は、画像の再生時に、動きマップに基づいて特定可能な各領域における被写体の移動方向と移動速度とに基づいて視覚的効果を付加する例について説明した。しかしながら、制御装置１０４は、画像ファイルのヘッダ部に記録されている撮影時の測距情報も加味して視覚的効果を付加するようにしてもよい。例えば、始点６ａと終点６ｂとに基づいて検出した軌跡６ｃに沿って桃の画像を移動させる場合に、当該軌跡６ｃが、測距情報に基づいて遠くから近くに移動していると判断できる場合には、桃の画像を段階的に拡大しながら移動させることによって、桃が徐々に近づいてきているように見せるようにしてもよい。あるいは、軌跡６ｃが、測距情報に基づいて近くから遠くに移動していると判断できる場合には、桃の画像を段階的に縮小しながら移動させることによって、桃が徐々に遠ざかっているように見せるようにしてもよい。これによって、使用者は、被写体が近づいているか遠ざかっているかを視覚的に把握することができる。

（４）上述した実施の形態では、画像内の動きがある被写体が１つである場合（例えば川である場合）について説明したが、動きがある被写体が複数ある場合にも本発明は適用可能である。この場合には、制御装置１０４は、長秒時撮影時に動きがある複数の被写体のそれぞれについて動きマップを生成し、再生時にそれぞれの動きがある被写体に対して視覚的効果を付加すればよい。例えば、画像内に川と走行中の車がある場合には、川の流れを表現する視覚的効果が付加されるとともに、車の走行状態を表現する視覚的効果が付加される。あるいは、動きがある被写体が複数ある場合には、使用者が視覚的効果を付加したい被写体を選択できるようにし、制御装置１０４は、使用者によって選択された被写体のみを対象として視覚的効果を付加してもよい。これによって、使用者は、視覚的効果を付加したい被写体を任意に設定することが可能となる。

（５）また、再生時に視覚的効果を付加するか否かを使用者が選択できるようにし、制御装置１０４は、再生時に視覚的効果を付加するように設定されている場合のみ、画像の再生時に被写体の動きに応じた視覚的効果を付加するようにしてもよい。これによって、使用者は、視覚的効果を付加するか否かを任意に設定することが可能となる。

（６）上述した実施の形態では、本発明をカメラ１００に適用する場合について説明した。しかしながら、撮影機能と再生機能を備えた他の機器、例えばカメラ付き携帯電話機やビデオカメラ等にも本発明は適用可能である。また、撮影機能を備えた機器、例えばカメラ等で図３に示す処理を実行し、再生機能を備えた機器、例えばパソコン等で図５に示す処理を実行するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０５ メモリカードスロット、１０６ モニタ

Claims (8)

1. 長秒時露光による長秒時撮影に際して、または動画像撮影に際して、動きのある被写体を検出する被写体検出手段と、
   前記被写体検出手段で検出した動きのある被写体の動きを表す情報を作成する情報作成手段と、
   前記情報作成手段で作成した前記被写体の動きを表す情報を前記長秒時撮影または前記動画像撮影によって得た画像に関連付けて記録する記録手段とを備えることを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記情報作成手段は、長秒時撮影中または動画像撮影中の画像に基づいて動きベクトルを算出し、前記動きベクトルをマップ化した動きマップを前記被写体の動きを表す情報として作成することを特徴とするカメラ。
3. 請求項１に記載のカメラにおいて、
   前記情報作成手段は、長秒時撮影中または動画像撮影中の画像に基づいて動きベクトルを算出し、前記動きベクトルに基づいて特定した前記動きのある被写体の移動軌跡を前記被写体の動きを表す情報として作成することを特徴とするカメラ。
4. 被写体の動きを表す情報が関連付けられている画像を読み出す読み出し手段と、
   前記被写体の動きを表す情報に基づいて、前記画像内における被写体の移動軌跡を検出する軌跡検出手段と、
   前記軌跡検出手段によって検出された前記移動軌跡を表す視覚的効果を画像に付加する付加手段とを備えることを特徴とする画像再生装置。
5. 請求項４に記載の画像再生装置において、
   前記付加手段は、撮影時の測距情報に基づいて被写体までの距離を検出し、前記被写体までの距離も加味して前記視覚的効果を付加することを特徴とする画像再生装置。
6. 請求項４または５に記載の画像再生装置において、
   画像に前記視覚的効果を付加するか否かを設定する設定手段をさらに備え、
   前記付加手段は、前記設定手段によって前記視覚的効果を付加するように設定されているときに、前記視覚的効果を付加することを特徴とする画像再生装置。
7. 請求項４〜６のいずれか一項に記載の画像再生装置において、
   前記付加手段は、画像再生中は前記視覚的効果の付加を継続することを特徴とする画像再生装置。
8. 請求項４〜７のいずれか一項に記載の画像再生装置において、
   前記画像に付加する視覚的効果の種類は、使用者が選択可能であることを特徴とする画像再生装置。

Images