JPWO2010035752A1 - 画像生成装置、撮像装置、画像再生装置、画像再生プログラム - Google Patents

Abstract

画像生成装置は、被写体を時系列的に撮像して得られた複数の撮像画像に基づいて被写体のうち対象被写体の動画像を生成する動画像生成手段と、撮像画像に基づいて対象被写体の背景画像を生成する背景画像生成手段とを備える。

Description

本発明は、画像生成装置、撮像装置、画像再生装置および画像再生プログラムに関する。

従来、動画像から移動被写体を除去した合成画像を生成するに当たって、移動被写体が登録された特定の被写体であるか否かを判定し、特定の被写体でないと判定した場合には背景画像を抽出して移動被写体の位置に合成することにより、撮影者が注目している移動被写体が消去されてしまうのを防止する技術が知られている（特許文献１参照）。

特開２００７−３０４６７５号公報

特許文献１に開示される従来技術は、動画像に基づいて移動被写体の位置に背景画像を合成することにより、移動被写体が消去された動画像または静止画像を生成するためのものである。一方、本発明は、静止画像として取得された撮像画像を動的に再生するために必要な技術を得ることを目的とするものである。

本発明の第１の態様による画像生成装置は、被写体を時系列的に撮像して得られた複数の撮像画像に基づいて被写体のうち対象被写体の動画像を生成する動画像生成手段と、撮像画像に基づいて対象被写体の背景画像を生成する背景画像生成手段とを備える。
本発明の第２の態様によると、第１の態様の画像生成装置において、動画像生成手段は、複数の撮像画像よりそれぞれ抽出した対象被写体の画像に基づいて動画像を生成し、背景画像生成手段は、複数の撮像画像に基づいて１つの静止画像を背景画像として生成することが好ましい。
本発明の第３の態様によると、第２の態様の画像生成装置において、動画像には、背景画像に対する対象被写体の位置と、背景画像に対する対象被写体の動きとを示す情報が付加されることがより好ましい。
本発明の第４の態様による撮像装置は、第１〜第３いずれかの態様の画像生成装置と、被写体を撮像して撮像画像を取得する撮像手段とを備える。
本発明の第５の態様による画像再生装置は、第１〜第３いずれかの態様の画像生成装置により生成された動画像および背景画像に基づいて、撮像画像を動的に再生する。
本発明の第６の態様によると、第５の態様の画像再生装置において、背景画像に重ねて動画像を表示し、動画像の表示位置を背景画像上で移動させることにより、撮像画像が動的に再生されることが好ましい。
本発明の第７の態様による画像再生プログラムは、第１〜第３いずれかの態様の画像生成装置により生成された動画像および背景画像に基づいて、撮像画像をモニタに接続されたコンピュータにより動的に再生するためのものであって、コンピュータに動画像および背景画像を読み込ませる読み込みステップと、コンピュータが読み込みステップで読み込んだ動画像および背景画像に基づいて、コンピュータに撮像画像をモニタに動的に再生表示させる再生ステップとをコンピュータに実行させる。
本発明の第８の態様によると、第７の態様の画像再生プログラムにおいて、再生ステップでは、背景画像に重ねて動画像をモニタに表示させ、動画像の表示位置を背景画像上で移動させることにより、コンピュータに撮像画像をモニタに動的に再生させることが好ましい。

本発明によれば、静止画像として取得された撮像画像を動的に再生するために必要な技術を得ることができる。

撮像装置の構成の一例を示すブロックダイアグラムである。 特殊再生用画像を取得する様子を示す図である。 静止画像としての撮像画像を動的に再生する様子を示す図である。 特殊再生用画像を取得する際に実行される撮影処理のフローチャートである。 特殊再生用画像に基づいて撮像画像を動的に再生する際に実行される再生処理のフローチャートである。 パーソナルコンピュータを画像再生装置として使用する例を示す図である。

以下、図面を参照して本発明を実施するための一形態について説明する。図１は、本発明の一実施の形態による撮像装置の構成の一例を示すブロックダイアグラムである。図１において、撮像装置は、撮像素子１と、撮影レンズ２と、レンズ駆動回路３と、制御回路５と、操作部材７と、撮像素子駆動回路８と、信号処理回路９と、データ処理回路１０と、圧縮／伸張回路１１と、モニタ１３と、表示制御回路１４と、測光回路１５と、振れ検出センサ１６とを有し、さらに記録媒体１２が設けられている。

記録媒体１２は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどにより構成される。なお、記録媒体１２は、撮像装置に内蔵されるものであっても、着脱可能に装着されるものであってもよい。また、撮像装置の外部に設けられるものであってもよい。その場合、記録媒体１２と撮像装置とは有線または無線で電気的に接続される。

撮影レンズ２は、撮影光学系を構成する複数枚のレンズ群で構成されており、撮像素子１の撮像面上に被写体像を結像させる。撮影レンズ２は不図示のフォーカスレンズを含む。このフォーカスレンズは、レンズ駆動回路３によって光軸方向に進退駆動される。これにより、撮影レンズ２の焦点調節状態が変化し、撮影レンズ２のピント調節が行われる。また、撮影レンズ２は不図示のズームレンズを含む。このズームレンズは、レンズ駆動回路３によって光軸方向に進退駆動される。これにより、撮影レンズ２の焦点距離が変化し、撮影レンズ２のズーム調節が行われる。

さらに、撮影レンズ２は不図示の振れ補正用レンズを含む。この振れ補正用レンズは、振れ検出センサ１６の出力に基づいて、レンズ駆動回路３により、撮影レンズ２の光軸に直交する方向に駆動される。これにより、撮像素子１上に結像される被写体像の位置が撮像装置の振れを打ち消す方向にシフトされ、振れ補正が行われる。このような振れ補正を行うことにより、撮像装置は、撮影者の手振れを軽減して撮影を行うことができる。

なお、上記のように振れ補正用レンズを駆動する代わりに、可変頂角プリズムを用いてその頂角を変化させることにより、撮像素子１上に結像される被写体像の位置を撮像装置の振れを打ち消す方向にシフトして、振れ補正を行うようにしてもよい。あるいは、撮像素子１を撮影レンズ２の光軸に直交する方向に駆動させ、撮像装置の振れを打ち消すようにすることで、振れ補正を行うようにしてもよい。

撮像素子１は、撮影レンズ２により結像された被写体像に基づいて、画素ごとに電荷を蓄積し、蓄積した電荷量に応じた電気信号を画像信号として信号処理回路９へ出力する。これにより、撮像素子１において被写体像の撮像が行われ、その被写体像が電気信号に変換されて出力される。なお、撮像素子１は、たとえばＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）型の撮像素子などによって構成される。

撮像素子駆動回路８は、制御回路５から出力される指令に応じて、所定タイミングの駆動信号を発生し、発生した駆動信号を撮像素子１へ供給する。この駆動信号が供給されることにより、撮像素子１において、電荷の蓄積や、蓄積された電荷量の読み出しが制御される。

制御回路５は、測光回路１５により検出された被写体の測光データに基づいて、被写界の明るさの情報を求め、この明るさの情報に基づいて、撮像素子１の電荷蓄積時間、撮影レンズ２の絞り、撮像素子１より出力される画像信号の増幅度などを決定する。なお、被写界の明るさの情報は、撮像素子１から出力される信号から求めるようにしてもよい。この場合には、撮像素子１が測光回路１５として機能する。

撮像素子１から出力された画像信号は、信号処理回路９において入力される。信号処理回路９は、制御回路５からの指令に応じて、入力された画像信号に対して、増幅、直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換等の各種信号処理を行う。そして、信号処理後に得られたデータを撮影画像データとしてデータ処理回路１０へ出力する。

データ処理回路１０は、制御回路５からの指令に応じて、信号処理回路９から出力された撮影画像データを圧縮／伸張回路１１に出力すると共に、モニタ１３に再生画像を表示させるために必要な解像度変換処理、すなわち画素数の変換を行う。そして、解像度変換処理後の撮影画像データを表示制御回路１４へ出力する。なお、データ処理回路１０は、電子ズーム処理を行うこともできる。この電子ズーム処理の際には、入力された撮影画像データに対してズーム倍率に応じた解像度変換処理を行い、処理後の撮影画像データを圧縮／伸張回路１１および表示制御回路１４へそれぞれ出力する。

表示制御回路１４は、制御回路５からの指令に応じて、データ処理回路１０から出力された撮影画像データに所定の信号処理を施した後、モニタ１３へ出力する。表示制御回路１４はさらに、モニタ１３へ出力する撮影画像データに、たとえば撮影メニューやカーソルなど所定のオーバーレイ画像のデータを重畳する処理を行う。これにより、オーバーレイ画像が重畳された被写体画像がモニタ１３に表示される。

圧縮／伸張回路１１は、制御回路５からの指令に応じて、データ処理回路１０から出力された撮影画像データに対して、所定の画像圧縮方式による圧縮処理を行い、圧縮後の撮影画像データを記録媒体１２へ出力する。なお、撮影者は操作部材７を操作することにより、画像データを圧縮せずに記録するよう撮像装置に対して指示することもできる。その場合、圧縮／伸張回路１１は、圧縮処理を行わずに、データ処理回路１０から出力された撮影画像データをそのまま記録媒体１２へ記録する。

操作部材７は、レリーズボタンを含む。撮影者がこのレリーズボタンにより撮影操作を行うと、その撮影操作に応じて、制御回路５から撮像素子駆動回路８、信号処理回路９、データ処理回路１０および圧縮／伸張回路１１に対して、撮影指令が出力される。この撮影指令が制御回路５から出力されると、撮像素子駆動回路８、信号処理回路９、データ処理回路１０および圧縮／伸張回路１１において、上記のような処理や制御がそれぞれ実行される。これにより、撮像素子１により出力された画像信号に基づく被写体像の撮影画像データが取得され、記録媒体１２に記録される。このようにして、撮像装置において被写体が撮影され、撮影画像が取得されて、その撮影画像が記録媒体１２に記録される。なお、被写体が撮影されたときには、上記のように表示制御回路１４からモニタ１３へ解像度変換処理後の撮影画像データが出力され、撮影画像の再生画像がモニタ１３に表示される。

表示モニタ１３には、記録媒体１２において既に記録されている撮影画像データに基づいて、撮影済みの撮影画像による再生画像を表示することもできる。このように撮影済みの撮影画像による再生画像を表示するモードは、再生モードと呼ばれている。

撮像装置において再生モードが選択されると、圧縮／伸張回路１１は、制御回路５からの指令に応じて記録媒体１２に記録されている撮影画像データを読み出し、その読み出した撮影画像データに対して圧縮を解除するための復号化処理を施した上で、復号化後の撮影画像データをデータ処理回路１０へ出力する。データ処理回路１０は、圧縮／伸張回路１１から出力された復号化後の撮影画像データに対して解像度変換処理を行い、表示制御回路１４へ出力する。この解像度変換処理後の撮影画像データが表示制御回路１４からモニタ１３へ出力されることにより、モニタ１３において撮影済みの撮影画像による再生画像が表示される。

なお、記録媒体１２に非圧縮の撮影画像データが記録されており、その非圧縮の撮影画像データが記録媒体１２から読み出された場合は、圧縮／伸張回路１１において復号化処理は行われない。圧縮／伸張回路１１は、可逆圧縮、すなわちロスレス符号化により、圧縮処理および復号化処理を行うようにしてもよい。

操作部材７は、上記のレリーズボタンに加えて、さらにズーム操作部材を有している。制御回路５は、このズーム操作部材が撮影者に操作されることにより、操作部材７からズーム操作信号が出力されると、それに応じて前述のレンズ駆動指令を発生し、レンズ駆動回路３に出力する。レンズ駆動回路３は、制御回路５から出力されたレンズ駆動指令に基づいて、撮影レンズ２のズームレンズを前述のようにして進退駆動させる。これにより、撮影レンズ２の焦点距離が変化し、撮像素子１の撮像面上に結像される被写体像が拡大もしくは縮小されて、光学的にズーム調節が行われる。

さらに、操作部材７からズーム操作信号が出力されると、制御回路５はデータ処理回路１０へ、前述の電子ズーム処理を行うための指令をズーム倍率と共に出力する。データ処理回路１０は、制御回路５から出力されたズーム倍率に応じて前述のように解像度変換処理を行い、処理後の撮影画像データを表示制御回路１４へ出力する。このときの解像度変換比率は、電子ズーム倍率に対応して決定される。これにより、モニタ１３に表示される被写体の画像が拡大もしくは縮小され、電子ズームが行われる。

上記の電子ズームにおいて、高倍率側にズーム倍率を変化させた場合、被写体画像の中心部分が徐々に拡大されてモニタ１３に表示される。このとき、ズーム倍率が上がるほど表示される被写体画像の範囲が狭くなる。反対に、低倍率側にズーム倍率を変化させた場合、被写体画像が徐々に縮小されてモニタ１３に表示される。このとき、ズーム倍率が下がるほど表示される被写体画像の範囲が広くなる。レリーズボタンにより撮影操作が行われると、そのときモニタ１３に表示されている被写体画像の範囲に対応する撮影画像データが記録媒体１２に記録される。

振れ検出センサ１６は、撮像装置の筺体内に設けられており、たとえば角速度センサ、ジャイロセンサ等により構成される。振れ検出センサ１６は、撮像装置の動き、すなわち撮像装置の筺体の振れを少なくとも光軸と直交する二方向について検出し、検出した振れ量に応じた検出信号を制御回路５へ出力する。制御回路５は、この検出信号に基づいて、筺体の振れに伴って生じる撮像素子１の撮像面における被写体像の移動が打ち消されるように、前述のような振れ補正を行う。なお、この振れ補正は、撮影時だけでなく、後述するスルー画像の取得時にも行うことができる。

次に、以上説明した撮像装置の動作について説明する。撮像装置は、静止画像としての撮像画像を取得する際に、その撮像画像を動的に再生するための特殊再生用画像を撮像画像と共に取得することができる。

特殊再生用画像を取得する様子を図２に示す。撮像装置は、撮像素子１から出力される画像信号に基づいて、たとえば符号２１〜２５に示すような撮像画像を時系列的に取得する。これらの撮像画像２１〜２５において撮影されている被写体のうち、たとえば自動車３０を動的再生の対象被写体として撮影者が設定すると、この自動車３０を含む部分の画像が符号３１〜３５に示すように撮像画像２１〜２５よりそれぞれ抽出される。こうして抽出された画像３１〜３５を、以下では抽出画像と称する。

なお、撮像画像２１〜２５のうち、撮像画像２３は撮影者からの撮影操作に応じて取得された静止画像としての撮像画像であり、本画像と呼ばれる。これに対して、撮像画像２１、２２は本画像２３の撮影に先立って取得された撮像画像であり、前画像と呼ばれる。また、撮像画像２４、２５は本画像２３の撮影後に取得された撮像画像であり、後画像と呼ばれる。ここでは本画像２３の撮影前後にそれぞれ２枚ずつの前画像２１、２２と後画像２４、２５を取得した例を説明したが、前画像と後画像の取得数はこれに限定されるものではない。

撮像装置は、撮像画像２１〜２５から抽出画像３１〜３５を抽出したら、抽出画像３１〜３５が取り除かれた撮像画像２１〜２５を合成することにより、１枚の静止画像である背景画像２０を生成する。たとえば、本画像２３において抽出画像３３が抽出された部分を、前画像２１、２２および後画像２４、２５の対応する部分の画像情報に基づいて補間することにより、背景画像２０を生成する。なお、ここで生成される背景画像２０のサイズや形状は、元の撮像画像２１〜２５のものと必ずしも同一でなくてもよい。たとえば、撮像装置の撮像方向を横に変化させつつ流し撮りを行って撮像画像２１〜２５を取得した場合、撮像画像２１〜２５を合成することで、横方向に長いパノラマ状の背景画像２０を生成することができる。また撮像装置は、抽出画像３１〜３５を時系列順に並べて合成することにより、動画像４０を生成する。こうして背景画像２０および動画像４０を生成したら、これらを本画像２３と共に、特殊再生用画像として記録媒体１２に記録する。

なお、動画像４０は、撮像画像２１〜２５と比べて画像のサイズが小さい。また背景画像２０は、撮像画像２１〜２５の枚数に関わらず、１つの静止画像として生成される。したがって、背景画像２０と動画像４０の合計データ量は、撮像画像２１〜２５から通常の動画像を生成した場合のデータ量よりも小さくなる。すなわち、特殊再生用画像として背景画像２０と動画像４０を生成することにより、データ量を圧縮することができる。

以上説明したような方法で取得した特殊再生用画像に基づいて、静止画像としての撮像画像である本画像２３を動的に再生する様子を図３に示す。撮像装置は、本画像２３を再生表示する代わりに、背景画像２０と動画像４０を合成してモニタ１３に再生表示する。このとき、背景画像２０に重ねて動画像４０を表示し、その表示位置を背景画像２０上で移動させることにより、符号４１〜４５に示すような再生画像を連続的に表示する。この再生画像４１〜４５では、対象被写体である自動車３０の動きが図２の撮像画像２１〜２５と同様に再現されている。なお、背景画像２０のサイズや形状が本画像２３のものと異なる場合は、そのサイズや形状に応じて背景画像２０をスクロールしたり、背景画像２０を拡大または縮小して、そこに動画像４０を重ねて表示してもよい。たとえば、前述のように背景画像２０が横方向に長いパノラマ状の画像である場合、背景画像２０を横方向にスクロール表示させると共に、そのスクロール動作に合わせて動画像４０を移動させながら背景画像２０に重ねて表示することができる。なお、背景画像２０を拡大または縮小表示する場合は、それに同期して動画像４０も拡大または縮小表示することが好ましい。

上記の特殊再生用画像を取得する際に実行される撮影処理のフローチャートを図４に示す。この撮影処理は、撮像装置が所定の特殊撮影モードに設定されたときに、制御回路５において実行される。ステップＳ１０において、制御回路５は、撮像素子１から出力される画像信号に基づいて、スルー画像をモニタ１３に表示する。

上記のステップＳ１０において、制御回路５は、撮像素子駆動回路８へ指示を送り、スルー画撮影動作を実行するための駆動信号を撮像素子駆動回路８に出力させる。撮像素子１は、この駆動信号を受けて、所定のフレームレート、たとえば３０フレーム毎秒で、画素ごとに蓄積された電荷量に応じた画像信号を連続的に出力する。信号処理回路９は、撮像素子１から出力された画像信号に前述のような信号処理を施すと共に、撮像素子１上において互いに近傍に位置する同色画素の信号同士を加算する。これにより、前画像や本画像、後画像を取得する時に比べて低解像度、すなわち画素数のより少ない撮影画像データを、スルー画像用の撮影画像データとしてデータ処理回路１０へ出力する。これにより、被写体のスルー画像が取得される。なお、この際の露出条件は、測光回路１５による測光データに基づいて決定される。このとき、同色画素の信号同士を加算する代わりに、撮像素子１からの画像信号を間引いて読み出すようにしてもよい。

データ処理回路１０は、信号処理回路９から出力されたスルー画像用の撮影画像データに対して解像度変換処理を行った後、処理後のデータを一時的に記憶すると共に、表示制御回路１４へ出力する。なお、データ処理回路１０には、解像度変化処理後のスルー画像用の撮影画像データを一時的に記憶するためのメモリが備えられている。上記のステップＳ１０において、制御回路５は、表示制御回路１４に対して、データ処理回路１０から出力されたデータに基づくスルー画像をモニタ１３に表示させる。これにより、被写体のスルー画像がモニタ１３において表示される。こうしてスルー画像が表示されることにより、撮影者は、これから撮影しようとする被写界の状態をモニタ１３の画面で観察することができる。

なお、上記のスルー画像を取得する際には、前画像や本画像、後画像を取得する時よりも低い画素解像度で被写体が撮影される。すなわち、撮像素子１の各画素における電荷量を間引いて読み出す、あるいは、複数の画素における電荷量を合算して読み出すことにより、本撮影よりも低い画素解像度でスルー画像を取得する。これにより、高フレームレートでの撮影を可能としている。また、取得されたスルー画像のデータは、記録媒体１２に記録されない。

以上説明したようにしてスルー画像を取得する際には、必要に応じてオートフォーカス動作を実行することにより、前述のようにして撮影レンズ２のピント調節を行うようにしてもよい。なお、このピント調節の際に必要な焦点調節状態は、たとえば、撮像素子１に設けられた焦点検出用の画素と、その画素の各々に対して設けられたマイクロレンズ等の焦点検出光学系を用いて、周知の瞳分割方式の位相差検出により検出することができる。焦点検出用の画素を有する素子を、撮像装置１とは別個に設け、当該素子を用いて焦点調節を行う構成としてもよい。あるいは、コントラスト方式など他の方法を利用することとしてもよい。

ステップＳ２０において、制御回路５は、ステップＳ１０でモニタ１３に表示したスルー画像を用いて、動的再生の対象とする被写体を設定する。たとえば、操作部材７の操作によって撮影者にスルー画像上で指定された位置に対応する被写体を抽出し、これを対象被写体に設定する。あるいは、撮像装置が自動的に対象被写体を設定するようにしてもよい。たとえば、スルー画像中で動きのある部分や、人物の顔などに基づいて予め登録されたテンプレート画像とのマッチング度合いが所定値以上となるスルー画像中の部分を撮像装置が判別し、これを対象被写体に設定することができる。こうして設定した対象被写体は、スルー画像上で枠を表示するなどにより、撮影者が判別可能に表示することが好ましい。なお、対象被写体の設定と撮影レンズ２のピント調節とを連動させてもよい。

ステップＳ３０において、制御回路５は、操作部材７のレリーズボタンが撮影者によって半押し操作されたか否かを判定する。半押し操作が行われ、その半押し操作に基づく半押し操作信号が操作部材７から制御回路５へ入力されると、制御回路５は次のステップＳ４０へ進む。一方、レリーズボタンの半押し操作がなされていない場合、制御回路５はステップＳ１０へ戻ってスルー画像の表示を続ける。

ステップＳ４０において、制御回路５は、撮像素子１が被写体を撮像することによって撮像素子１から出力される画像信号に基づいて、前画像を取得する。このとき、前述のようにステップＳ１０で表示したスルー画像よりも高解像度で撮像された画像が前画像として取得される。

ステップＳ５０において、制御回路５は、操作部材７のレリーズボタンが撮影者により全押し操作されたか否かを判定する。全押し操作が行われ、その全押し操作に基づく全押し操作信号が操作部材７から制御回路５へ入力されると、制御回路５はステップＳ６０へ進む。一方、全押し操作信号が入力されなかった場合には、制御回路５はステップＳ４０へ戻って前画像の取得を続ける。これにより、レリーズボタンを半押し操作してから全押し操作するまでの間、複数枚の前画像が所定の周期で繰り返し取得される。

ステップＳ６０において、制御回路５は、撮像素子１が被写体を撮像することによって撮像素子１から出力される画像信号に基づいて、本画像を取得する。この本画像は、ステップＳ４０で取得した前画像と同様に、ステップＳ１０で表示したスルー画像よりも高解像度で撮像された画像である。

ステップＳ７０において、制御回路５は、撮像素子１が被写体を撮像することによって撮像素子１から出力される画像信号に基づいて、後画像を取得する。この後画像は、ステップＳ４０で取得した前画像およびステップＳ６０で取得した本画像と同様に、スルー画像よりも高解像度で撮像された画像である。

以上説明したステップＳ４０、Ｓ６０およびＳ７０の処理によって前画像、本画像および後画像を取得することで、撮像装置において複数の撮像画像が時系列的に取得される。なお、前述のように前画像、本画像および後画像に基づいて背景画像と動画像を生成するために、これらの各撮像画像の解像度は全て同じであることが好ましい。

ステップＳ８０において、制御回路５は、撮影が完了したか否かを判定する。たとえば、撮影者がレリーズボタンの操作を止めた場合や、ステップＳ５０で判定した全押し操作から所定時間が経過したときに、制御回路５は撮影が完了したと判定してステップＳ９０へ進む。一方、このような条件を満たさない場合、制御回路５は撮影がまだ完了していないと判定してステップＳ７０へ戻り、後画像の取得を続ける。これにより、レリーズボタンを全押し操作してから撮影が完了するまでの間、複数枚の後画像が所定の周期で繰り返し取得される。

ステップＳ９０において、制御回路５は、ステップＳ４０で取得した前画像、ステップＳ６０で取得した本画像およびステップＳ７０で取得した後画像から、ステップＳ２０で設定した対象被写体の画像をそれぞれ抽出する。これにより、対象被写体に対応する複数の抽出画像が取得される。

ステップＳ１００において、制御回路５は、対象被写体の位置変化の様子を表す動きベクトルを算出する。ここでは、隣接フレーム間におけるステップＳ９０での各抽出画像の抽出位置の変化の様子、具体的には、時系列順に隣り合う２画像間における抽出位置の変化方向および変化量を、動きベクトルとして算出する。すなわち、動きベクトルの始点は、２画像のうち先に取得された画像における抽出画像の抽出位置を表し、動きベクトルの終点は、２画像のうち後に取得された画像における抽出画像の抽出位置を表している。また、動きベクトルの長さは、２画像間における抽出位置の変化量を表している。こうした動きベクトルを各画像について算出することにより、背景画像に対する対象被写体の位置と動きを示す情報が取得される。

ステップＳ１１０において、制御回路５は、ステップＳ９０で抽出した対象被写体の抽出画像に基づいて、対象被写体の動画像を生成する。これにより、図３の動画像４０が生成される。なお、ステップＳ１１０で生成された動画像には、ステップＳ１００で算出した動きベクトルを表す情報が付加される。あるいは、動きベクトルの代わりに、背景画像に対する対象被写体の各フレームにおける位置情報を動画像に付加してもよい。このようにしても、背景画像に対する対象被写体の位置と動きを表す情報を動画像に付加することができる。

ステップＳ１２０において、制御回路５は、ステップＳ９０で対象被写体の抽出画像を抽出した後の各画像に基づいて、背景画像を生成する。このとき前述したように、抽出画像が抽出された部分の画像情報が複数の画像を用いて補間される。これにより、図３の背景画像２０が生成される。

ステップＳ１３０において、制御回路５は、ステップＳ６０で取得した本画像、ステップＳ１１０で生成した動画像およびステップＳ１２０で生成した背景画像をそれぞれ関連付けて、記録媒体１２に記録する。これにより、本画像が撮影されると共に、対象被写体を動的に再生するために必要な特殊再生用画像としての動画像と背景画像が取得され、記録媒体１２に記録される。ステップＳ１３０を実行したら、制御回路５は図４の撮影処理を終了する。

次に、特殊再生用画像に基づいて撮像画像を動的に再生する処理について、図５に示す再生処理のフローチャートにより説明する。この再生処理は、図４の撮影処理によって静止画像として取得された本画像が所定の特殊再生モードにおいて選択されたときに、制御回路５において実行される。ステップＳ２１０において、制御回路５は、再生を行う特殊再生用画像としての動画像と背景画像を記録媒体１２から読み込み、制御回路５内のメモリに一時的に記憶する。

ステップＳ２２０において、制御回路５は、ステップＳ２１０で読み込んだ背景画像をモニタ１３に表示する。このとき前述のように、背景画像をスクロールしたり、背景画像を拡大または縮小したりしてもよい。

ステップＳ２３０において、制御回路５は、ステップＳ２１０で読み込んだ動画像に付加されている動きベクトルの情報に基づいて、背景画像に重ねて動画像を表示する際の表示位置を算出する。ここでは、動画像の最初のフレームから順に、動きベクトルの始点位置に基づいて動画像の表示位置を求める。

ステップＳ２４０において、制御回路５は、ステップＳ２１０で読み込んだ動画像をモニタ１３に表示する。ここでは、ステップＳ２２０で表示した背景画像に重ねて、ステップＳ２３０で算出した表示位置に動画像を表示する。

ステップＳ２５０において、制御回路５は、再生が完了したか否かを判定する。動画像の全フレームを既に表示し終えた場合や、操作部材７の操作によって所定の停止操作が入力された場合は、再生が完了したと判定して図５のフローチャートを終了する。一方、このような再生完了の条件を満たさない場合には、まだ再生中であると判定してステップＳ２３０へ戻り、ステップＳ２３０およびＳ２４０を繰り返し実行する。こうして再生中は動画像を背景画像の上に表示し続けて、対象被写体の動きに合わせて動画像の表示位置を背景画像上で移動させる。これにより、撮像画像が動的に再生される。

なお、再生処理が終了した後は、再生前と同じ画面状態に戻ることが好ましい。たとえば、それまでモニタ１３に表示されていた本画像を動的再生した場合は、動的再生後の画面ではなく、元の本画像の表示画面に戻すようにする。あるいは、動的再生を繰り返すようにしてもよい。また、このような撮像画像の動的再生をサムネイル画像において行うようにしてもよい。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置は、制御回路５が実行する撮影処理により、被写体を撮像して得られた撮像画像に基づいて、その被写体のうちで設定された対象被写体の動画像を生成する（ステップＳ１１０）と共に、対象被写体の背景画像を生成する（ステップＳ１２０）。こうして生成された動画像および背景画像を用いて撮像画像の再生を行うことで、静止画像として取得された撮像画像を動的に再生することができる。

（２）制御回路５は、前画像、本画像および後画像として、時系列的に複数の撮像画像を取得する（ステップＳ４０、Ｓ６０、Ｓ７０）。こうして取得した複数の撮像画像に基づいて、ステップＳ１１０およびＳ１２０の処理を実行することにより、動画像と背景画像をそれぞれ生成することとしたので、動的再生に適した動画像と背景画像を生成することができる。

（３）制御回路５は、ステップＳ１１０において、複数の撮像画像よりそれぞれ抽出した対象被写体の画像に基づいて動画像を生成する。また、ステップＳ１２０において、複数の撮像画像に基づいて１つの静止画像を背景画像として生成する。したがって、通常の動画像を生成する場合と比べて、データ量を圧縮することができる。

（４）制御回路５は、ステップＳ１１０において生成した動画像に、背景画像に対する対象被写体の位置と、背景画像に対する対象被写体の動きとを示す動きベクトルの情報を付加する。このようにしたので、動的再生時に対象被写体の動きを的確に表現することができる。

（５）撮像装置は、制御回路５が実行する再生処理により、上記の撮影処理において生成された動画像および背景画像に基づいて、撮像画像を動的に再生する。具体的には、動画像と背景画像を読み込み（ステップＳ２１０）、背景画像に重ねて動画像を表示し、その動画像の表示位置を背景画像上で移動させる（ステップＳ２４０）ことにより、撮像画像を動的に再生する。このようにしたので、対象被写体の動きを的確に表現した撮像画像の動的再生を実現することができる。

なお、以上説明した実施の形態において、ステップＳ４０で行う前画像の取得処理と、ステップＳ７０で行う後画像の取得処理とは、いずれか一方のみを実行するようにしてもよい。すなわち、撮影時に本画像を少なくとも含む複数の撮像画像を取得できれば、前画像または後画像のいずれか一方の取得を省略してもよい。

また、以上説明したような動画像および背景画像の生成や、撮像画像の動的再生を、撮像装置以外の画像生成装置や画像再生装置において行うようにしてもよい。すなわち、撮像装置によって取得された撮像画像を画像生成装置に取り込み、これに基づいて画像生成装置が動画像と背景画像を生成してもよい。あるいは、撮像装置または画像生成装置によって生成された動画像と背景画像を画像再生装置において読み込み、これに基づいて撮像画像の動的再生を行ってもよい。

この場合、上述したような制御に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの電気通信回線を通じて提供することができる。図６は、パーソナルコンピュータを画像再生装置として使用する例を示している。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０２を介してプログラムの提供を受ける。あるいは、パーソナルコンピュータ１００は通信回線１０１との接続機能を有し、サーバ１０３から上記のプログラムを提供されることとしてもよい。通信回線１０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。サーバ１０３は、通信回線１０１を介してプログラムをパーソナルコンピュータ１００に送信する。すなわち、プログラムを搬送波上のデータ信号に変換して、通信回線１０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記のパーソナルコンピュータ１００には、前述のような動画像および背景画像が記録された記録媒体１２が装填される。パーソナルコンピュータ１００は、ＣＤ−ＲＯＭ１０２またはサーバ１０３から提供される画像再生プログラムに基づいて、図５のフローチャートに示す再生処理を実行する。すなわち、動画像および背景画像を記録媒体１２から読み込むステップＳ２１０の処理と、読み込んだ背景画像をコンピュータ１００と接続されたモニタに表示するステップＳ２２０の処理と、動画像の表示位置を算出するステップＳ２３０の処理と、動画像をモニタに表示するステップＳ２４０の処理と、再生を完了したか否かを判定するステップＳ２５０の処理とを実行する。このうちステップＳ２２０、Ｓ２３０およびＳ２４０の処理により、ステップＳ２１０で読み込んだ動画像および背景画像に基づいて、撮像画像がモニタに動的に再生される。すなわち、ステップＳ２２０で表示した背景画像に重ねて、ステップＳ２４０で動画像をモニタに表示させ、その動画像の表示位置をステップＳ２３０で算出した表示位置に応じて背景画像上で移動させることにより、撮像画像を動的に再生することができる。

なお、以上説明した実施の形態は、あくまで本発明の実施の形態の一例である。したがって、発明を解釈する際、上記の記載事項と特許請求の範囲の記載事項の対応関係には何ら限定も拘束もされない。また、発明の特徴が損なわれない限り、本発明は上記の記載内容に限定されるものでもない。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００８年第２４４３６１号（２００８年９月２４日出願）

１：撮像素子、２：撮影レンズ、３：レンズ駆動回路、５：制御回路、７：操作部材、
８：撮像素子駆動回路、９：信号処理回路、１０：データ処理回路、
１１：圧縮／伸張回路、１２：記録媒体、１３：モニタ、１４：表示制御回路、
１５：測光回路、１６：振れ検出センサ

Claims (8)

1. 被写体を時系列的に撮像して得られた複数の撮像画像に基づいて前記被写体のうち対象被写体の動画像を生成する動画像生成手段と、
   前記撮像画像に基づいて前記対象被写体の背景画像を生成する背景画像生成手段とを備える画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記動画像生成手段は、複数の前記撮像画像よりそれぞれ抽出した前記対象被写体の画像に基づいて前記動画像を生成し、
   前記背景画像生成手段は、複数の前記撮像画像に基づいて１つの静止画像を前記背景画像として生成する。
3. 請求項２に記載の画像生成装置において、
   前記動画像には、前記背景画像に対する前記対象被写体の位置と、前記背景画像に対する前記対象被写体の動きとを示す情報が付加される。
4. 請求項１〜３のいずれか一項に記載の画像生成装置と、
   前記被写体を撮像して前記撮像画像を取得する撮像手段とを備える撮像装置。
5. 請求項１〜３のいずれか一項に記載の画像生成装置により生成された前記動画像および前記背景画像に基づいて、前記撮像画像を動的に再生する画像再生装置。
6. 請求項５に記載の画像再生装置において、
   前記背景画像に重ねて前記動画像を表示し、前記動画像の表示位置を前記背景画像上で移動させることにより、前記撮像画像が動的に再生される。
7. 請求項１〜３のいずれか一項に記載の画像生成装置により生成された前記動画像および前記背景画像に基づいて、前記撮像画像をモニタに接続されたコンピュータにより動的に再生するための画像再生プログラムは、
   前記コンピュータに前記動画像および前記背景画像を読み込ませる読み込みステップと、
   前記コンピュータが前記読み込みステップで読み込んだ動画像および背景画像に基づいて、前記コンピュータに前記撮像画像を前記モニタに動的に再生表示させる再生ステップとを前記コンピュータに実行させる。
8. 請求項７に記載の画像再生プログラムにおいて、
   前記再生ステップでは、前記背景画像に重ねて前記動画像を前記モニタに表示させ、前記動画像の表示位置を前記背景画像上で移動させることにより、前記コンピュータに前記撮像画像を前記モニタに動的に再生させる。

Images