JP4877319B2 - 画像生成装置、プログラム、画像表示方法、及び、撮像方法 - Google Patents

Description

本発明は、画像生成装置、プログラム、画像表示方法、及び、撮像方法に関する。

従来、ＧＩＦアニメーション表示する技術として特許文献１記載の発明が知られている。この従来技術は、連写された撮影画像を一枚の画像に合成したマルチ合成画像データとして記憶する。これらを再生表示する際には、各撮影画像の位置を順次指定することで、これらをコマ画像としたＧＩＦアニメーションとして表示するものである。
特開平１１−２９８７８４号公報

しかしながら、上記技術は連写した撮影画像そのものをコマ画像としてＧＩＦアニメーションを表示するものであり、撮影画像に含まれる特定の画像領域のみについてＧＩＦアニメーションを作成することはできない。

本発明は、かかる従来の課題に鑑みてなされたものであり、特定の画像領域のみをコマ画像として動画を生成することのできる画像生成装置、プログラム、画像表示方法、及び、撮像方法を提供することを目的とする。

前記課題を解決するため請求項１記載の発明にあっては、撮像手段と、生成すべきアニメーションの態様を設定する設定手段と、この設定手段により設定された内容に基づいた連写速度または画像の数の少なくとも一方で前記撮像手段が時間的に連続して撮像した複数の画像間における画像の変化を検出する検出手段と、前記複数の画像における共通する被写体の画像領域を前記検出手段によって検出された変化に基づいて夫々抽出する抽出手段と、この抽出手段によって夫々抽出された画像領域から、前記設定手段によって設定されたアニメーション態様の動画形式の部分画像を生成する生成手段と、を備えたことを特徴とする。

また、請求項２記載の発明にあっては、画像を再生表示する表示手段と、この表示手段に画像を再生表示する際、前記生成手段により生成された部分画像を重畳させた動画として表示するよう制御する表示制御手段と、を更に備えたことを特徴とする。

また、請求項３記載の発明にあっては、前記表示制御手段によって前記表示手段に表示される画像と前記部分画像とを対応付けて記憶する記憶手段を更に備えたことを特徴とする。

また、請求項４記載の発明にあっては、前記記憶手段は、前記画像、前記部分画像、及び、前記画像における前記部分画像が重畳表示される位置を対応付けて記憶することを特徴とする。

また、請求項５記載の発明にあっては、前記抽出手段によって抽出すべき被写体の画像領域を指定する指定手段を更に備えたことを特徴とする。

また、請求項６記載の発明にあっては、生成すべきアニメーションの態様を設定する設定手段、この設定手段により設定された内容に基づいた連写速度または画像の数の少なくとも一方を設定して時間的に連続して撮像させて複数の画像を取り込むよう制御する撮像制御手段、この撮像制御手段によって撮像された複数の画像間における画像の変化を検出する検出手段、前記複数の画像における共通する被写体の画像領域を前記検出手段によって検出された変化に基づいて夫々抽出する抽出手段、この抽出手段によって夫々抽出された画像領域から、前記設定手段により設定されたアニメーション態様の動画形式の部分画像を生成する生成手段、として機能させることを特徴とする。

また、請求項７記載の発明にあっては、生成すべきアニメーションの態様を設定する設定ステップと、撮像部に対し前記設定ステップにて設定された内容に基づいた連写速度または画像の数の少なくとも一方を設定して時間的に連続して撮像させて複数の画像を取り込むよう制御する撮像制御ステップと、この撮像制御ステップにて撮像された複数の画像間における画像の変化を検出する検出ステップと、前記複数の画像における共通する被写体の画像領域を前記検出ステップにて検出された変化に基づいて夫々抽出する抽出ステップと、この抽出ステップにて夫々抽出された画像領域から、前記設定ステップにて設定されたアニメーション態様の動画形式の部分画像を生成する生成ステップと、を含むことを特徴とする。

本発明によれば、画像に含まれる特定の画像領域のみをコマ画像として動画を生成することができる。

以下、本発明の一実施の形態を図に従って説明する。
図１（ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、（ｂ）は裏面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッターキー３が設けられている。このシャッターキー３は、半押し操作と全押し操作とが可能な所謂ハーフシャッター機能を備えるものである。また、背面にはＬＣＤからなる表示部４、ファンクションキーＡ５、及びファンクションキーＢ７が設けられている。ファンクションキーＢ７の周部には、左右及び上下で押下操作可能なカーソルキー６が設けられており、前記表示部４には透明のタッチパネル４１が積層されている。

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスラインを介して各部に接続された制御部１６を備えている。制御部１６は、撮像装置１の各部を制御するワンチップマイコンである。

撮像部８は、ＣＭＯＳ等のイメージセンサからなりフォーカスレンズ、ズームレンズ等で構成される前記撮像レンズ２の光軸上に配置され、制御部１６からの制御に基づき連写が可能である。ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、前記表示部４に供給されることにより、ライブビュー画像として表示される。

また、画像記録時において、画像処理部１０で処理された信号は、符号化／復号化処理部１１で符号化されて画像記録部１３に記録され、画像再生時において、画像記録部１３から読み出された画像データは符号化／復号化処理部１１で復号化されて表示部４に表示される。

前記画像処理部１０は、画像領域検出処理部１０１と抽出処理部１０２とを有している。画像領域検出処理部１０１は、「背景と人物が写った画像」と「背景のみの画像」（若しくは連写画像）における各画像の画素変化領域（画像領域）を検出するものであり、抽出処理部１０２は画像領域検出処理部１０１により検出された前記画像領域を夫々抽出する。

符号化／復号化処理部１１は、動画生成処理部１１１とファイル生成部１１２とを備える。動画生成処理部１１１は、前記抽出処理部１０２にて抽出された画像領域から後述の切り抜き画像ファイルを生成するものであり、ファイル生成部１１２は再生モードにおいて再生する背景画像と前記動画生成処理部１１１によって生成されたファイルとを関連付けたファイルを生成する。

前記プレビューエンジン１２は、上記ライブビュー画像の生成の他、前記背景画像とアニメーションとを表示部４に表示させる際に必要な制御を行う。なお、キー入力部は、図１に示したシャッターキー３及び他のキー５〜７等で構成されている。

さらに、バスライン１７には、プログラムメモリ１４及び前記タッチパネル４１が接続されている。プログラムメモリ１４には、後述するフローチャートに示す処理を実行するプログラムが格納されている。

次に、本実施の形態に係る撮像装置１の動作について説明する。電源を投入すると、制御部１６は、プログラムに従って図３及び図４のフローチャートに示すように処理を開始する。すなわち、生成モードの選択が検出されたか否かを判断し（ステップＳ１）、生成モードの選択が検出されない場合には、後述する図４のステップＳ１２に進む。

生成モードの選択が検出された場合には、先ず、生成するアニメーションについて、ユーザ操作に基づいてアニメーションの長さ（再生時間）や動画の切り換え間隔を設定する処理を行う（ステップＳ２）。そして、この設定された切り換え間隔に基づいて、連写枚数及び、ＦＰＳ（連写速度）を設定する（ステップＳ３）。例えば、ユーザが、アニメーションの長さが１秒で３コマ／秒のアニメーションの生成を所望する場合、ステップＳ３においては、連写枚数は３枚、連写速度は３ＦＰＳが設定される。尚、上記ステップＳ２、Ｓ３に関しては処理を省くことも可能であるが、その場合、予め設定されている連写枚数、及び、連写速度が設定される。このように部分画像を動かすアニメーションにおける長さ（再生時間）や動画の切り替え間隔に基づいて、自動的に連写枚数やＦＰＳを設定するので、ユーザは所望するアニメーションの態様を設定するのみで、簡単に連写の設定内容を撮像装置に設定することができる。

ステップＳ３において設定が完了するとこの内容が制御部１６のワークメモリ（不図示）に記憶され、ユーザによるシャッターキー３の操作を待つ。そしてその後、シャッターキー３の操作に応じて、上記の設定内容に従い撮像部８により連写して複数の画像を取り込む（ステップＳ４）。例えば、ユーザが３コマ／秒のアニメーションの生成を設定した場合、図５に示す連写された画像（Ａ）（Ｂ）（Ｃ）が取り込まれることとなる。

なお、既に画像記録部１３に記録されている連写された複数の画像を取り込むようにしてもよい。

次に、ステップＳ４にて得た画像について、被写体人物を除く背景のみの画像を撮像部８により撮像して取り込み（ステップＳ５）、連写した画像と背景のみの画像とにおける画素の変化（差分）を検出する（ステップＳ６）。このとき、前記画像（Ａ）（Ｂ）（Ｃ）は、図示のように同一の背景（山の背景）２００内において、被写体人物ＰがＰ１、Ｐ２、Ｐ３と移動した連写画像である。したがって、背景部分には変化は無いが、被写体人物Ｐ部分は画角内における位置及び体勢がＰ１、Ｐ２、Ｐ３と変化することにより、画素に変化が生ずる。したがって、ステップＳ３では、画像（Ａ）（Ｂ）（Ｃ）間における被写体人物Ｐ１、Ｐ２、Ｐ３部分のみが画素の変化（差分）として検出される。

引き続き、この検出された画素の変化が閾値以下であるか否かを判断する（ステップＳ７）。このステップＳ７の判断がＹＥＳであって、画素の変化が閾値以下ある場合、つまり取り込まれた画像間において、背景のみの画像との変化が少ない場合には、表示部４に再撮影のガイダンス表示を行って（ステップＳ８）、リターンする。

したがって、このガイダンス表示を視認することにより、背景を変えて撮影を促す等をユーザに対し行うことができる。

また、ステップＳ７の判断がＮＯであって、画素の変化が閾値を超える場合、つまり取り込まれた画像間における被写体人物等の動きが大きい場合には、ステップＳ９に進み、検出された画素の変化部分のうち最大の集合領域を抽出すべき画像領域として決定する。すなわち、画像（Ａ）（Ｂ）（Ｃ）において、背景２００は変化がないが、被写体人物Ｐ１、Ｐ２、Ｐ３部分は画素の変化が閾値を超えるものである。また、その画素の変化部分のうち最大の集合領域は、被写体人物Ｐ１、Ｐ２、Ｐ３の全身であることから、被写体人物Ｐ１、Ｐ２、Ｐ３の全身部分が抽出すべき画像領域として決定される。

そして、この決定された画像領域を対応する画像から抽出する画像領域抽出処理を実行する（ステップＳ１０）。したがって、本例においては決定された画像領域であり各被写体人物Ｐ１、Ｐ２、Ｐ３の全身領域が画像（Ａ）（Ｂ）（Ｃ）から抽出されることとなる。さらに、この抽出した画像領域が複数であるか否かを判断する（ステップＳ１１）。抽出した画像領域が複数ではなく単一であった場合には、この画像領域から部分画像のみが抽出された、切り抜き画像を所定の画像ファイル形式でファイルを生成するとともに、画角内における当該画像領域の位置（位置座標）を取得する（ステップＳ１２）。また、本例のように、抽出した画像領域が被写体人物Ｐ１、Ｐ２、Ｐ３であり、複数である場合には、これら複数の画像領域（被写体人物Ｐ１、Ｐ２、Ｐ３の全身）のみが抽出された、複数の切り抜き画像を所定の画像ファイルの形式でファイルを生成するとともに、画角内における各画像領域の位置（位置座標）を取得する（ステップＳ１３）。

このようにして、ステップＳ１２又はステップＳ１３の処理を実行したならば、予め画像記録部１３に設けてあるフォルダに、ステップＳ１２で生成したファイル又はステップＳ１３で生成したファイルを、前記取得した画像領域の位置（位置座標）とともに格納して（ステップＳ１１）、リターンする。

尚、上記ステップＳ１２、１３で生成される切り抜き画像を含むファイルのファイル形式は、被写体（Ｐ１〜Ｐ３）の画像領域を透過度＝０％、それ以外（つまり背景部分）を透過度＝１００％としたαチャンネル情報を含む画像ファイル、もしくはその集合体からなるが、これに限らず、単一のファイルであれば透過ＰＮＧ画像ファイルや、透過ＧＩＦ画像ファイルであってもよい。また、複数のファイルであれば、上記透過ＰＮＧ画像ファイルや透過ＧＩＦ画像ファイルの集合体であっても、複数の透過ＧＩＦファイルからなるＧＩＦアニメーション形式であってもよい。

他方、前記ステップＳ１での判断の結果、生成モードの選択が検出されなかった場合には、図４のステップＳ２１に進む。そして、合成モードの選択が検出されたか否かを判断し（ステップＳ２１）、検出されない場合には他の処理に移行する（ステップＳ２２）。また、合成モードの選択が検出された場合には、撮像されて画像記録部１３に予め記憶されている画像を表示部４に一覧表示する（ステップＳ２３）。次に、タッチパネル４１からの検出信号に基づき、タッチによりこの一覧表示された画像の何れかが背景画像として選択されたか否かを判断する（ステップＳ２４）。

いずれかの画像が背景画像として選択されたならば、当該背景画像を画像記録部１３から読み出して表示部４に表示する（ステップＳ２５）。したがって、このステップＳ２５での処理により、例えば図５に示すように背景（街の背景）３００を有する画像（Ｄ）が背景画像として表示部４に表示されることとなる。

次に、切り抜き画像の選択が検出されたか否かを判断する（ステップＳ２６）。このステップＳ２６での処理に際しては、表示部４の表示状態を一時的に切り換えて、前記ステップＳ１４で格納されたファイルを表示部４に一覧表示する。そして、タッチパネル４１からの検出信号に基づき、タッチによりこの一覧表示されたファイルの何れかが選択されたか否かを判断する。

そして、いずれかのファイルの選択が検出されたならば、切り抜き画像の周辺画素の色成分と、背景画像の大部分を占める画素の色成分とを比較する（ステップＳ２７）。

つまり、図５に示した各被写体人物Ｐ１、Ｐ２、Ｐ３の全身領域からなる切り抜き画像を含む複数のファイルが選択されたとすると、先ず各被写体人物Ｐ１、Ｐ２、Ｐ３における全身周辺の色成分を検出する。また、図５に示した画像（Ｄ）が背景画像として選択されたとすると、当該画像（Ｄ）の背景（街の背景）３００画像の大部分を占める色成分を検出する。そして、これら検出した各被写体人物Ｐ１、Ｐ２、Ｐ３における全身周辺の色成分と画像（Ｄ）の背景（街の背景）３００画像の大部分を占める色成分とを比較する。

次に、このステップＳ２７での比較結果に基づき、二つの色成分の中間色を生成する（ステップＳ２８）。また、前述のステップＳ１４で格納したファイルに、切り抜き画像とともに記憶された当該画像領域の位置（座標情報）を反映させる反映指示が検出されたか否かを判断する（ステップＳ２９）。反映指示が検出された場合には、選択された切り抜き画像の所定幅周囲に、前記ステップＳ２８で生成された中間色からなる中間色領域を生成し、切り抜き画像を選択された背景色に重畳させて再生表示する（ステップＳ３０）。

つまり、図５の画像（Ａ）（Ｂ）（Ｃ）における被写体人物Ｐ１、Ｐ２、Ｐ３が切り抜き画像とするアニメーションファイルが選択され、背景３００を有する画像（Ｄ）が背景画像として選択され、かつ、当該画像領域の位置（座標情報）を反映させる反映指示が検出されたとする。すると、先ず被写体人物Ｐ１、Ｐ２、Ｐ３の所定幅周囲をステップＳ２８で生成された中間色に変換する。そして、これら所定幅周囲が中間色に変換された被写体人物Ｐ１、Ｐ２、Ｐ３を、画像（Ｄ）において、画像（Ａ）（Ｂ）（Ｃ）における被写体人物Ｐ１、Ｐ２、Ｐ３の位置と同一の位置に配置して、画像（Ｄ）に重畳表示する。

したがって、このステップＳ３０での処理により、図５の画像（Ｅ）に示すように、背景（山の背景）２００ではなく背景（街の背景）３００上であって、画像（Ａ）（Ｂ）（Ｃ）上における被写体人物Ｐ１、Ｐ２、Ｐ３と同一の位置に、被写体人物Ｐ１、Ｐ２、Ｐ３が順次重畳表示された動画が表示部４に表示されることとなる。

したがって、本実施の形態によれば、任意に選択した画像に対し特定の画像領域（被写体人物Ｐ１、Ｐ２、Ｐ３）のみを合成させたものをコマ画像とした動画を生成して、ユーザに観賞させることができる。

しかも、被写体人物Ｐ１、Ｐ２、Ｐ３の所定幅周囲は背景３００との中間色で表示されることから、重畳された被写体人物Ｐ１、Ｐ２、Ｐ３と背景３００とが一体化した自然な動画を再生表示することができる。

また、本実施の形態においては、被写体人物Ｐ１、Ｐ２、Ｐ３は連写された撮影画像から切り抜いた部分画像であることから、撮影された画像に含まれる特定の画像領域のみをコマ画像とすることができる。

しかし、ステップＳ２９の判断がＮＯであって、画像領域の位置（座標情報）を反映させる反映指示が検出されなかった場合には、切り抜き画像の位置設定処理（制御部１６によるランダム指定を含）を実行する（ステップＳ３１）。つまり、ユーザによって指定されたタッチパネルによるタッチ位置を切り抜き画像の表示位置として設定し、あるいは制御部１６によりランダムに指定された位置を切り抜き画像の表示位置として設定する。

そして、この表示位置の設定終了が検出されたか否かを判断し（ステップＳ３２）、設定終了が検出されたならば前述したステップＳ３０の処理を実行する。したがって、この場合には、図５の画像（Ｅ）とは異なる位置であって、ランダムな位置に被写体人物Ｐ１、Ｐ２、Ｐ３が順次重畳表示され動画が表示部４に表示されることとなる。

しかる後に、保存指示が検出されたか否かを判断し（ステップＳ３３）、保存指示が検出されない場合にはステップＳ２３に戻る。保存指示が検出されたならば、背景画像、切り抜き画像、及び、切り抜き画像の表示方法を記述したメタファイルを、対応する背景画像や切り抜き画像に関連付けて画像記録部１３に格納する（ステップＳ３４）。これにより、画像記録部１３には、図６に例示したようなメタファイル１３１が例えばテキスト情報で、背景画像および切り抜き画像と対応付けて記憶される。

したがって、後日このメタファイル１３１を読み出して再生指示を行うことにより、画像に含まれる特定の画像領域のみをコマ画像として動画を生成して、随時ユーザに観賞させることができる。

尚上記ステップＳ３４では、背景画像、切り抜き画像、及び、切り抜き画像の表示方法を記述したメタファイルを格納するようにしたが、背景画像に切り抜き画像を合成した複数の画像ファイルを互いに関連付けて記憶させるようにしても良い。このようにすると、メタファイルを解読できないソフトウエア環境の機器であっても再生することができる。

なお、本実施の形態においては、ステップＳ９で抽出すべき画像領域を自動決定するようにしたが、タッチパネル４１でのタッチ検出により、ユーザが自由に抽出すべき画像領域を指定できるようにしてもよい。このようにすれば、ユーザが自由に指定した画像領域のみをコマ画像として動画を生成することができる。

また、本実施の形態においては、図６に示したメタファイル１３１にて対応する背景画像や切り抜き画像に関連付けて画像記録部１３に格納するようにしたが、背景ファイル（背景画像のファイル）のＥｘｉｆヘッダに、メタファイル１３１のデータを書き込むことで背景ファイルにメタファイルの機能を持たせるようにしてもよい。

あるいは、同一出願人が既に提案している（特願２００８−０９１２６８）ファイル形式を用い、背景画像のデータと切り抜き画像のデータとを同一のファイルに記憶するようにしてもよい。

また、本発明は撮像装置に限らず、撮像機能あるいは画像再生機能を備えた携帯電話端末にも適用できるとともに、カメラ付きパーソナルコンピュータ、等に適用することも容易に可能であり、画像再生が可能な装置であればいずれにも適用することができる。

（ａ）は本発明の一実施の形態に係る撮像装置の正面図、（ｂ）は裏面図である。 同撮像装置のブロック図である。 同実施の形態における処理手順を示すフローチャートである。 図３に続くフローチャートである。 同実施の形態の表示説明図である。 メタファイルの記述例を示す図である。

符号の説明

１ 撮像装置
３ シャッターキー
４ 表示部
８ 撮像部
９ ユニット回路
１０ 画像処理部
１１ 符号化／復号化処理部
１２ プレビューエンジン
１３ 画像記録部
１４ プログラムメモリ
１６ 制御部
１７ バスライン
４１ タッチパネル
１０１ 画像領域検出処理部
１０２ 抽出処理部
１１１ 動画生成処理部
１１２ ファイル生成部
１３１ メタファイル
２００ 背景
３００ 背景

Claims (7)

1. 撮像手段と、
   生成すべきアニメーションの態様を設定する設定手段と、
   この設定手段により設定された内容に基づいた連写速度または画像の数の少なくとも一方で前記撮像手段が時間的に連続して撮像した複数の画像間における画像の変化を検出する検出手段と、
   前記複数の画像における共通する被写体の画像領域を前記検出手段によって検出された変化に基づいて夫々抽出する抽出手段と、
   この抽出手段によって夫々抽出された画像領域から、前記設定手段によって設定されたアニメーション態様の動画形式の部分画像を生成する生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 画像を再生表示する表示手段と、
   この表示手段に画像を再生表示する際、前記生成手段により生成された部分画像を重畳させた動画として表示するよう制御する表示制御手段と、
   を更に備えたことを特徴とする請求項１記載の画像生成装置。
3. 前記表示制御手段によって前記表示手段に表示される画像と前記部分画像とを対応付けて記憶する記憶手段を更に備えたことを特徴とする請求項２記載の画像生成装置。
4. 前記記憶手段は、前記画像、前記部分画像、及び、前記画像における前記部分画像が重畳表示される位置を対応付けて記憶することを特徴とする請求項３記載の画像生成装置。
5. 前記抽出手段によって抽出すべき被写体の画像領域を指定する指定手段を更に備えたことを特徴とする請求項１乃至４に何れか記載の画像生成装置。
6. 撮像装置が有するコンピュータを、
   生成すべきアニメーションの態様を設定する設定手段、
   この設定手段により設定された内容に基づいた連写速度または画像の数の少なくとも一方を設定して時間的に連続して撮像させて複数の画像を取り込むよう制御する撮像制御手段、
   この撮像制御手段によって撮像された複数の画像間における画像の変化を検出する検出手段、
   前記複数の画像における共通する被写体の画像領域を前記検出手段によって検出された変化に基づいて夫々抽出する抽出手段、
   この抽出手段によって夫々抽出された画像領域から、前記設定手段により設定されたアニメーション態様の動画形式の部分画像を生成する生成手段、
   として機能させることを特徴とするプログラム。
7. 生成すべきアニメーションの態様を設定する設定ステップと、
   撮像部に対し前記設定ステップにて設定された内容に基づいた連写速度または画像の数の少なくとも一方を設定して時間的に連続して撮像させて複数の画像を取り込むよう制御する撮像制御ステップと、
   この撮像制御ステップにて撮像された複数の画像間における画像の変化を検出する検出ステップと、
   前記複数の画像における共通する被写体の画像領域を前記検出ステップにて検出された変化に基づいて夫々抽出する抽出ステップと、
   この抽出ステップにて夫々抽出された画像領域から、前記設定ステップにて設定されたアニメーション態様の動画形式の部分画像を生成する生成ステップと、
   を含むことを特徴とする撮像方法。

Images