JP2006246307A - 画像データ処理装置 - Google Patents

Abstract

【課題】動画の撮像が可能な汎用のカメラを用いて時間軸上において高画質な画像データを出力可能とする。
【解決手段】同じ被写体３を同一撮像範囲で撮像可能な複数の撮像手段（カメラ１，２）が該複数の撮像手段間で同期を取って前記被写体３を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部１１と、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部１２とを有する。
【選択図】 図１

Description

本発明は、複数の撮像手段を用いて同じ被写体の撮像を行なうに好適な画像データ処理装置、画像データ処理方法、画像データ処理プログラムに関し、さらに、画像データ処理装置とこの画像データ処理装置から出力された画像データの表示が可能な画像表示装置とを有した画像表示システムに関する。

画像をデジタルデータとして取り込み可能なデジタルカメラやデジタルビデオカメラ、さらには、携帯電話機、テレビ電話、Ｗｅｂカメラなどのデジタル撮像機器が広く使用されるようになってきている。これらのデジタル撮像機器は普及が進むにつれ、より一層の高画質化が要求されるようになってきている。

静止画については、撮像可能な画像の画素数が増加してきており、空間軸上における高画質化は高いレベルに達しつつある。これに対して、動画は静止画に比べると、画質という点でまだまだ及ばないのが現状である。たとえば、ハイビジョン画像は、画素数でみれば高々２００万画素であり、一世代あるいは二世代前のデジタルカメラと同程度かそれ以下である。さらに、動画において最も重要な時間軸上における高画質化については、より一層の改善が要求されている。

気軽に入手できるデジタル撮像機器としては、たとえば、携帯電話機やＷｅｂカメラなどがあるが、いずれも動画の品質は高いとはいえない。一般に、画素数（解像度）を優先すればフレームレートを犠牲にすることになり、逆にフレームレートを優先すれば画素数（解像度）を犠牲することになる。なお、フレームレートは時間軸上での画質の高さを示すものであり、高フレームレートであれば、時間軸上において高画質であるともいえる。

動画において時間軸上の高画質化を実現する技術の一例として、特許文献１が挙げられる。
特許文献１は、デジタルカメラまたはフィルムカメラの持つ連写機能を複数のカメラ間でクロックやタイマなどを用いて連携させることで、高速な撮像を実現することを目的としている。

特開２００１−１６６３７４号公報

しかし、特許文献１は、（ｉ）連写機能を有するカメラが複数台必要、（ii）複数のカメラの連携をとるための複雑な仕組みが必要、（iii）複数のカメラの状態を監視するための仕組みが必要といった問題がある。

（ｉ）については、連写機能を有するカメラは一般的には高価であるということが問題となる。連写枚数が１秒間に数枚程度の比較的安価なカメラもあるが、特許文献１により、一般的な動画のフレームレートを実現するためには、多くの台数のカメラが必要となる。すなわち、３０フレーム／秒（以下では、フレーム／秒をｆｐｓと表記する）を実現するには、３枚／秒のカメラでは１０台のカメラが必要となり、５枚／秒のカメラでも５台のカメラが必要となる。したがって、たとえば、６０ｆｐｓの高画質な画像データを実現するには、さらに多くのカメラが必要となり、現実的ではない。

また、（ii）については、特許文献１の場合、静止画用のカメラを用いるため、シャッタの制御や、それに合わせたカメラ間の同期の考慮など、システムの制御が複雑化し、かつ、高精度な制御が要求される。これにより、システムそのものが高価なものとなるという問題もある。

さらに、（iii）については、これも（ii）と同様の静止画用のカメラを用いることによる問題である。一般に、連写機能は、撮像は高速に行なわれるものの、カメラに内蔵されている記録媒体への記録に時間を要する。連続した撮像のためには、各カメラの状態を監視し、連写機能の終了後に次の連写撮像が可能であるか否かを常に監視していなければならない。これは、システムを複雑化する要因にもなる。

そこで本発明は、動画の撮像が可能な汎用のデジタル撮像機器を複数台用いることにより、時間軸上において高画質な画像データを生成可能で、かつ、システムを複雑化することのない画像データ処理装置、画像データ処理方法、画像データ処理プログラムを提供することを目的とするとともに、さらに、画像データ処理装置とこの画像データ処理装置から出力された画像データの表示が可能な画像表示装置とを有した画像表示システムを提供することを目的とする。

（１）本発明の画像データ処理装置は、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部と、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部とを有することを特徴とする。

これにより、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、本発明によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなる。なお、撮像手段としては、本発明用として特別に用意されたものではなく、動画の撮像が可能な汎用の撮像機器（デジタルビデオカメラなど）を用いることができる。

（２）前記（１）に記載の画像データ処理装置においては、前記遅延時間は、所定範囲で任意に設定可能であることが好ましい。
これは、遅延時間をユーザなどが任意に設定することができるということである。これによって、コンテンツの内容になどに応じて適切な遅延時間を設定することができる。また、遅延時間をユーザが任意に設定できるということは、撮像中にユーザがコンテンツの内容などに応じてある期間だけそのコンテンツに最適な遅延時間を設定するということも可能となる。

（３）前記（１）または（２）に記載の画像データ処理装置においては、前記遅延時間は、前記合成画像データの各フレームが時間的に等間隔となるような設定が可能であることが好ましい。
このように、各フレームが時間的に等間隔となるように合成された合成画像データであれば、本発明に対応しない画像表示装置であっても表示が可能となる。

（４）前記（１）または（２）に記載の画像データ処理装置においては、前記遅延時間は、前記合成画像データの各フレームが時間的に非等間隔となるような設定が可能であることもまた好ましい。
これは、たとえば、コンテンツに応じてフレームごとに任意の時間差を設定したような場合であり、このように、時間差をユーザが任意に設定した場合にもそれに対応した合成画像データを出力することができる。

（５）前記（１）〜（４）に記載の画像データ処理装置においては、前記複数の撮像手段から出力される各画像データは同じフレームレートであることが好ましい。
このように、複数の撮像手段から出力される各画像データのフレームレートを同一とすることにより、前記画像データ合成処理部が行う画像データ合成処理を容易なものとすることができる。

（６）前記（１）〜（５）に記載の画像データ処理装置においては、前記画像データ合成処理部は、前記複数の撮像手段から出力される各画像データの位置ずれ補正、複数の撮像手段から出力される各画像データの色補正、複数の撮像手段から出力される各画像データの輝度補正の少なくとも１つの補正を行う機能を有することが好ましい。
これにより、複数の撮像手段から得られる各画像データを時間的に連続した合成画像データとしたとき、その合成画像データは各フレーム間で整合性の取れた高品質な画像データとすることができる。

（７）前記（１）〜（６）に記載の画像データ処理装置においては、前記複数の撮像手段から出力される各画像データを記憶する画像データ記録装置を有し、前記画像データ合成処理部は、前記画像データ記録装置に記録された画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成することが好ましい。
このように、各撮像手段で撮像された画像データを記録する画像データ記録装置を設け、この画像データ記録装置に画像データを一時的に記録することで、画像データ合成処理部が合成画像データ生成処理などの処理を時間的な余裕を持って行うことができ、画像データ合成処理部の処理能力をそれほど高いものとする必要がなくなる。また、画像データ記録装置からユーザが任意の時点の画像データを取得することも可能となる。

（８）前記（１）〜（７）に記載の画像データ処理装置においては、前記画像データ合成処理部は、前記合成画像データを該合成画像データに各フレームの時間長を示す情報を付加したデータフォーマットのファイルとして出力することが好ましい。
これにより、合成画像データを表示する画像表示装置側で合成画像データの表示を行なう際に適切な表示が行える。

（９）前記（８）に記載の画像データ処理装置においては、前記画像データ合成処理部は、前記合成画像データの各フレームの時間長を示す情報を、前記合成画像データとは別のファイルとして出力することも可能である。
これにより、本発明に対応する画像表示装置においては、合成画像データのファイルと各フレームの時間長を示す情報のファイルの両方を読み込んで、その内容に応じた処理を行うことが可能であり、また、本発明に対応しない画像表示装置においては、合成画像データのファイルのみを読み込んで、その内容に応じた処理を行うことが可能となる。

（１０）本発明の画像データ処理方法は、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を任意の時間差を有して撮像可能となるように撮像制御するステップと、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成するステップとを有することを特徴とする。
この画像データ処理方法によっても前記（１）に記載の画像データ処理装置と同様の効果が得られる。なお、この画像データ処理方法においても、前記（２）〜（９）の画像データ処理装置と同様の特徴を有することが好ましい。

（１１）本発明の画像データ処理プログラムは、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が複数の撮像手段間で同期を取って前記被写体を任意の時間差を有して撮像可能となるように撮像制御するステップと、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成するステップとを実行可能であることを特徴とする。
この画像データ処理プログラムによっても前記（１）に記載の画像データ処理装置と同様の効果が得られる。なお、この画像データ処理プログラムにおいても、前記（２）〜（９）の画像データ処理装置と同様の特徴を有することが好ましい。

（１２）本発明の画像表示システムは、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が複数の撮像手段間で同期を取って前記被写体を任意の時間差を有して撮像可能となるように撮像制御する撮像手段制御部、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部を有する画像データ処理装置と、前記画像データ処理装置から出力される合成画像データを表示する画像表示装置とを有することを特徴とする。

このような画像表示システムによれば、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、本発明によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなり、画像表示装置では時間軸上において高画質な画像データを表示することができる。なお、撮像手段としては、本発明用として特別に用意されたものではなく、動画の撮像が可能な汎用の撮像手段（デジタルビデオカメラなど）を用いることができるので、高画質の画像データ表示システムを安価に構成することができる。なお、この画像表示システムにおいても、前記（２）〜（９）の画像データ処理装置と同様の特徴を有することが好ましい。

（１３）本発明の画像データ処理装置は、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部と、前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定する機能、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成する機能を有する画像データ合成処理部とを有することを特徴とする。
これによれば、前記（１）に記載の画像データ処理装置と同様の効果が得られるほか、この（１３）に記載の画像データ処理装置では、コンテンツの内容に応じて設定された遅延時間に基づく中間画像データを生成し、生成された中間画像データと複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるようにしているので、より動きの滑らかな動画の再現が可能な合成画像データを生成することができる。なお、この（１３）に記載の画像データ処理装置においても、前記（２）、（５）〜（９）の画像データ処理装置と同様の特徴を有することが好ましい。なお、（７）に記載の画像データ処理装置のように、画像データ記録装置を有する場合には、該画像データ記録装置に記録された画像データを用いてコンテンツ解析を行う。

（１４）前記（１３）に記載の画像データ処理装置においては、前記コンテンツ解析は、前記複数の撮像手段から出力される各画像データに基づいて画像の動きの変化及び／又は明るさの変化を検出することにより行うことが好ましい。
これによれば、動きの変化及び／又は明るさの変化に応じた遅延時間を設定することができる。たとえば、動きの激しい場面や明るさの変化の激しい場面では遅延時間を短くし、逆に、動きの緩やかな場面や明るさの変化の緩やかな場面では遅延時間を長くするというような遅延時間設定を行う。これによって、コンテンツの内容の変化に追従した最適な遅延時間の設定が可能となり、その遅延時間を用いることによりコンテンツの内容に応じた中間画像データを生成することができる。

（１５）本発明の画像データ処理方法は、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御するステップと、前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定するステップと、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成するステップとを有することを特徴とする。
この画像データ処理方法によっても前記（１３）に記載の画像データ処理装置と同様の効果が得られる。なお、この（１５）に記載の画像データ処理方法においても、前記（２）、（５）〜（９）、（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

（１６）本発明の画像データ処理プログラムは、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御するステップと、前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定するステップと、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成するステップとを有することを特徴とする。
この画像データ処理プログラムによっても前記（１３）に記載の画像データ処理装置と同様の効果が得られる。なお、この（１６）に記載の画像データ処理プログラムにおいても、前記（２）、（５）〜（９）、（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

（１７）本発明の画像表示システムは、同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部、前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定する機能、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成する機能を有する画像データ合成処理部を有する画像データ処理装置と、前記画像データ処理装置から出力される合成画像データを表示する画像表示装置とを有することを特徴とする。

この（１７）に記載の画像表示システムによっても前記（１２）に記載の画像表示システムと同様の効果が得られるほか、この（１７）に記載の画像表示システムでは、コンテンツの内容に応じて設定された遅延時間に基づく中間画像データを生成し、生成された中間画像データと複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるようにしているので、より動きの滑らかな動画の再現が可能な合成画像データを生成することができる。なお、この（１７）に記載の画像表示システムにおいても、前記（２）、（５）〜（９）、（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

以下、本発明の実施の形態について説明する。
[実施形態１]
図１は実施形態１に係る画像データ処理装置の構成を示す図である。実施形態１に係る画像データ処理装置１０Ａは、同じ被写体３を同一撮像範囲で撮像可能な複数の撮像手段（実施形態１では２台のカメラ１，２とする）が各カメラ１，２間で同期を取って被写体３を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部１１と、カメラ１，２から所定の時間差に対応する遅延時間を有して出力される各フレームごとの画像データを遅延時間に基づいて時間的に連続した合成画像データとして出力可能な画像データ合成処理部１２を有している。

また、カメラ１，２は動画をデジタルデータとして取り込み可能なカメラであって、たとえば、デジタルビデオカメラなどを用いることができる。これらカメラ１，２は本発明用として用意された専用のカメラである必要はなく、汎用のカメラの使用が可能である。また、性能的にも特に高性能である必要はなく、たとえば、性能の高さをフレームレートで表すとすれば、３０ｆｐｓ程度のフレームレートであればよい。

これらカメラ１，２は、同じ被写体３を撮像可能で、かつ、カメラ１，２の視差が小さくなるように（望ましくは視差が無いように）、すなわち、同一の撮像範囲での撮像が可能となるように設置することが望ましい。また、光軸及び走査線が平行となるように設置されることもまた望ましい。また、カメラ１，２は同一性能の機器を用いることが望ましい。
また、カメラ２はカメラ１に対しユーザの設定した遅延時間に対応する時間差を有して被写体３を撮像する。

図２は実施形態１に係る画像データ処理装置１０Ａに用いられる撮像手段制御部１１の構成を示す図である。図２に示すように、撮像手段制御部１１は、ユーザにより設定された遅延時間及び制御コマンド（撮像開始・終了コマンドなど）を入力するユーザ設定情報入力部１１１と、ユーザ設定情報入力部１１１に入力された遅延時間に基づいて遅延時間設定を行なうとともにその遅延時間を記憶可能な遅延時間設定部１１２と、遅延時間設定部１１２により設定された遅延時間及びユーザ設定情報入力部１１１に入力された制御コマンドをカメラ１，２に送信する送信部１１３を有している。

なお、実施形態１（他の実施形態も同様）ではカメラ２がカメラ１よりも送れて撮像を開始するので、遅延時間はカメラ２に送られる。また、遅延時間は画像データ合成処理部１２にも送られる。

また、ユーザによる遅延時間及び制御コマンドは、たとえば、設定値入力ボタンなどによって入力することも可能であり、また、リモートコントローラやパーソナルコンピュータ（ＰＣという）などからネットワークやＵＳＢを介して入力することも可能である。

なお、遅延時間設定部１１２によって設定された遅延時間は、本発明の各実施形態では、フレーム数で表すものとする。すなわち、カメラ１，２から出力される画像データのフレームレートが３０ｆｐｓであるとすれば、遅延時間を１／３０秒とした場合は、それをフレーム数で表すと１フレームとなり、遅延時間を１／６０秒とした場合、それをフレーム数で表すと０．５フレームとなる。したがって、遅延時間として１フレームが設定されたとすれば、遅延時間としては１／３０秒が設定されたことになり、また、遅延時間として０．５フレームが設定されたとすれば、遅延時間としては１／６０秒が設定されたことになる。

図３は実施形態１に係る画像データ処理装置１０Ａに用いられる画像データ合成処理部１２の構成を示す図である。図３に示すように、画像データ合成処理部１２は、カメラ１から出力される画像データを入力する入力部１２１、カメラ２から出力される画像データを入力する入力部１２２、入力部１２１，１２２に入力された画像データを各フレームごとに時間的に連続した合成画像データとする合成画像データ生成部１２３、合成画像データ生成部１２３で生成された合成画像データを出力する出力部１２４を有している。

なお、カメラ１，２と入力部１２１，１２２との間のインタフェースは、ネットワークであってもよいし、一般的なデジタル機器に用いられるＩＥＥＥ１３９４やＵＳＢなどであってもよい。また、出力部１２４からの合成画像データの出力先は、ネットワークであってもよく、プロジェクタなどの画像表示装置であってもよく、また、ハードディスクなどの記録媒体であってもよい。
また、入力部１２１，１２２には、それぞれ対応するカメラ１，２から出力される画像データを記憶可能なバッファ１２１ａ，１２２ａを有している。

図４は実施形態１に係る画像データ処理装置１０Ａの画像データ処理手順を説明するフローチャートである。この画像データ処理装置１０Ａの処理開始に先立って、まず、ユーザによって遅延時間及び制御コマンドの入力がなされる。そして、撮像手段制御部１１が撮像開始コマンドを各カメラ１，２に送る（ステップＳ１）。

カメラ１は撮像開始コマンドにより撮像を開始し（ステップＳ２）、撮像された画像データは、画像データ合成処理部１２に送られる（ステップＳ３）。一方、カメラ２は遅延時間設定部１１２で設定された遅延時間が経過したか否かを判定し（ステップＳ４）、遅延時間が経過すると、撮像を開始する（ステップＳ５）。

そして、カメラ２で撮像された画像データは画像データ合成処理部１２に送られる（ステップＳ３）。なお、遅延時間はカメラ１，２の同期信号として機能するとともに、画像データ合成処理部１２の合成画像データ生成部１２３にも送られ、合成画像データ生成部１２３では、その遅延時間に基づいて合成画像データの生成を行う。

画像データ合成処理部１２では、合成画像データ生成部１２３によりカメラ１，２から送られてきた画像データを遅延時間に基づいて合成し（ステップＳ６）、合成画像データを出力する（ステップＳ７）。そして、撮像終了コマンドの有無を判定し（ステップＳ８）、撮像終了コマンドが無ければ、ステップＳ２及びステップＳ４に戻り、ステップＳ２，Ｓ４以降の動作をくりかえす。また、撮像終了コマンドがあれば処理を終了する。

図５は画像データ合成処理部１２が行う画像データ合成処理を説明するフローチャートである。図５において、まず、合成画像データ生成部１２３は、撮像手段制御部１１からの遅延時間を受け取る（ステップＳ１１）。そして、入力部１２１がカメラ１から出力される画像データを受け取り（ステップＳ１２）、受け取った画像データをバッファ１２１ａに一時記憶する（ステップＳ１３）。

そして、カメラ２から出力される画像データの有無を判定し（ステップＳ１４）、カメラ２から出力される画像データがあれば、入力部１２２がカメラ２から出力される画像データを受け取る（ステップＳ１５）。ここで、バッファ１２１ａに記憶されているカメラ１の画像データとカメラ２の画像データが合成画像データ生成部１２３に送られる(ステップＳ１６)。

合成画像データ生成部１２３では、設定された遅延時間に基づいてそれぞれの画像データを時間的に連続するように合成して合成画像データを生成し（ステップＳ１７）、生成された合成画像データを順次、出力部１２４に送る（ステップＳ１８）。そして、撮像終了コマンドの有無を判定し（ステップＳ１９）、撮像終了コマンドが無ければ、ステップＳ１２に戻り、ステップＳ１２以降の動作を繰り返す。また、撮像終了コマンドがあれば処理を終了する。

図６は画像データ処理装置１０Ａの画像データ合成処理部１２が行う画像データ合成処理（その１）を説明するタイムチャートである。この図６は遅延時間設定部１１２に対し、遅延時間として０．５フレームが設定された場合を示している。なお、カメラ１，２から出力される画像データのフレームレートは同じであり、この場合、共に３０ｆｐｓであるとする。

図６（Ａ），（Ｂ）はカメラ１，２で撮像された画像データの出力タイミングを示す図であり、カメラ１側においては、図６（Ａ）に示すように、撮像開始時刻ｔ０から、画像データがフレームＦ１，Ｆ２，・・・の順で出力される。一方、カメラ２側においては、図６（Ｂ）に示すように、カメラ１の撮像開始時刻ｔ０に対して０．５フレーム分の時間差を有して画像データがフレームＦ１’，Ｆ２’，・・・の順で出力される。

これにより、画像データ合成処理部１２の合成画像データ生成部１２３では、設定された遅延時間（この場合、０．５フレーム分の時間）に基づいて、図６（Ｃ）に示すような合成画像データを生成する。
すなわち、図６（Ｃ）に示すように、カメラ１のフレームＦ１、カメラ２のフレームＦ１’、カメラ１のフレームＦ２、カメラ２のフレームＦ２’、・・・というように、カメラ１，２それぞれのフレームが０．５フレーム分の時間間隔で出力される。この図６（Ｃ）の合成画像データは、カメラ１，２の画像データがそれぞれ３０ｆｐｓのフレームレートであるので、６０ｆｐｓのフレームレートの画像データとなる。

この図６（Ｃ）の画像データは、前述したように、ネットワーク、プロジェクタなどの画像表示装置またはハードディスクなどの記録媒体などに出力可能である。たとえば、プロジェクタなどの画像表示装置に出力された場合には、該画像表示装置で６０ｆｐｓのフレームレートの画像として表示される。

以上説明したように、実施形態１では、特に高性能ではない汎用のカメラを複数（実施形態１ではカメラ１，２の２台としている）用いて、カメラ２はカメラ１に対して０．５フレーム分の時間差を有して撮像するようにしている。そして、画像データ合成処理部１２では、設定された遅延時間に基づいてカメラ１，２の各フレームを時間的に連続させるように合成する。

すなわち、この場合、設定された遅延時間が０．５フレームであるので、カメラ１の画像データの各フレームＦ１，Ｆ２，・・・に、カメラ２の各フレームＦ１’，Ｆ２’，・・・を０．５フレーム分の時間間隔で挿入した合成画像データが生成される。この合成画像データは、図６（Ｃ）に示すように、各フレームの時間的な間隔）が０．５フレームの等間隔となる。すなわち、図６（Ｃ）の合成画像データは、各フレームＦ１，Ｆ１’，Ｆ２，Ｆ２’，・・・の時間長がすべて０．５フレームで等しくなる。なお、フレームの時間長はそれを表示する際の表示時間に相当する。

ところで、図６に示した例は、カメラ２の遅延時間を０．５フレーム分とした場合であったが、この遅延時間はユーザが任意に設定可能である。
図７は画像データ処理装置１０Ａの画像データ合成処理部１２が行う画像データ合成処理（その２）を説明するタイムチャートである。この図７は遅延時間設定部１１２に対し遅延時間として０．３フレームが設定された場合を示している。なお、この場合もカメラ１，２から出力される画像データのフレームレートは共に３０ｆｐｓであるとする。

カメラ１側においては、図７（Ａ）に示すように、撮像開始時刻ｔ０から、フレームＦ１，Ｆ２，・・・の順で出力される。一方、カメラ２側においては、図７（Ｂ）に示すように、撮像開始時刻ｔ０に対して０．３フレーム分の時間差を有してフレームＦ１’，Ｆ２’，・・・の順で出力される。

これにより、画像データ合成処理部１２の合成画像データ生成部１２３では、設定された遅延時間に基づいて、図７（Ｃ）に示すような合成画像データが得られる。すなわち、図７（Ｃ）に示すように、カメラ１のフレームＦ１は０．３フレーム分の時間長、カメラ２のフレームＦ１’は０．７フレーム分の時間長、カメラ１のフレームＦ２は０．３フレーム分の時間長、カメラ２のフレームＦ１’は０．７フレーム分の時間長、・・・というように、合成画像データの各フレームの時間長が等しくない画像データ、つまり、各フレームの時間的な間隔が非等間隔な画像データとなる。

この図７（Ｃ）の合成画像データは、見かけ上は６０ｆｐｓのフレームレートであるが、フレームＦ１，Ｆ１’，Ｆ２，Ｆ２’，・・・における各フレームの時間長が等しくない画像データであるので、一般的な画像データのフォーマットではない。

このような画像データを、たとえば、プロジェクタなどの画像表示装置で表示する際、画像表示装置が本発明の画像データ処理装置に対応した画像表示装置（以下では対応表示装置という）であれば、図７（Ｃ）のようなフレームの時間長に対応した表示が可能となる。しかし、画像表示装置が本発明の画像データ処理装置に対応しない一般的な画像表示装置（非対応表示装置という）の場合は、通常の６０ｆｐｓの画像データとしての表示を行なう。

図８は合成画像データ生成部１２３から出力される合成画像データのデータフォーマットの一例を示す図である。図８に示すように、合成画像データは、大きく分けると、他のフォーマットの画像データと区別するための識別子、データサイズなどが書き込まれるヘッダ領域、実際の画像データが書き込まれる画像データ書き込み領域を有している。

ヘッダ領域には、全フレーム数、各フレームの時間長、画面サイズ（幅及び高さ）などが書き込まれる。また、画像データ書き込み領域には、合成画像データの各フレームＦ１，Ｆ１’，Ｆ２，Ｆ２’，・・・に対応する画像データが書き込まれる。

なお、ヘッダ領域に書き込まれる各フレームの時間長は、図８では図示されていないが、たとえば、図７（Ｃ）の例においては、フレームＦ１に対しては０．３フレーム、フレームＦ１’に対しては０．７フレーム、フレームＦ２に対しては０．３フレーム、フレームＦ２’に対しては０．７フレーム、・・・というように各フレームごとの時間長が書き込まれる。
ただし、図６（Ｃ）の例のように、各フレームの時間長が同一である場合、あるいは、図７（Ｃ）の例のように、各フレームの時間長が所定の規則にしたがって繰り返されるような場合は、それを示す情報を書き込むことも可能であり、その場合、全てのフレームごとに各フレームに対する時間長を書き込む必要はなくなる。

なお、このデータフォーマットを受け取る画像表示装置が本発明の対応表示装置である場合には、図８のデータフォーマットに基づいてデータ表示を行なうことができるが、非対応表示装置である場合には、図８のデータフォーマットでは読み込むことができない。

そこで、画像データ書き込み領域に書き込まれる合成画像データについては一般的に用いられるＡＶＩ（Audio Video Interleaving）形式のファイルとし、図８のヘッダ領域における「全フレーム数」、「各フレームの時間長」などは別ファイルとして出力することも可能である。

このように、図８のヘッダ領域における「全フレーム数」、「各フレームの時間長」などは別ファイルとして出力することにより、対応表示装置においては、通常のＡＶＩ形式のファイルと「全フレーム数」、「各フレームの表示時間」などの記述されたファイルの両方を読み込んで、その内容に応じた処理を行う。一方、非対応表示装置ではＡＶ１形式のファイルのみを読み込んで、その内容に応じた処理を行う。これによって、対応表示装置では図７（Ｃ）のような各フレームの時間長に対応した表示が可能となり、非対応表示装置では、通常の６０ｆｐｓの画像データとしての表示が可能となる。

以上説明したように実施形態１では、動画の撮像が可能な汎用のカメラを複数台（実施形態１では２台としている）用いることにより、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、実施形態１によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなる。

また、このように、２台のカメラを用い、一方のカメラからフレームＦ１，Ｆ２，・・・、もう一方のカメラから時間差を有したフレームＦ１’，Ｆ２’，・・・を出力することによる効果として、画像表示装置側でいわゆる「２度書き」を行なうような場合に有利になることも挙げられる。

なお、実施形態１（以降に示す他の実施形態も同様）を実現するためには、カメラ１，２から出力される各画像データの位置ずれ補正、色補正、輝度補正などを行なうようにすることが望ましい。

カメラ１，２から出力される各画像データの位置ずれ補正は、カメラ１の画像データを基準画像データとして、カメラ２の画像データの位置ずれ補正を行うことが可能である。これは、たとえば、カメラ１の画像データの特定領域をカメラ２の画像データの中からブロックマッチングなどにより探し、カメラ１に対するカメラ２のずれ量を検出し、そのずれ量からカメラ２の全体の画像データをカメラ１の画像データに合わせるといった処理である。

また、カメラ１，２から出力される各画像データの色補正は、カメラ１の画像データと上記した位置ずれ補正後のカメラ２の画像データとの間で対応する各画素の基準となる色成分（赤Ｒ・緑Ｇ・青Ｂなど）それぞれについて両者の画素値の平均値を求める。そして、求められた平均値となるように、カメラ１の画像データ及びカメラ２の画像データそれぞれに対して画素値の調整を行なう。

また、カメラ１，２から出力される各画像データの輝度補正は、上記した色補正と同様、カメラ１の画像データと上記した位置ずれ補正後のカメラ２の画像データとの間で対応する各画素の輝度値について両者の平均値を求める。そして、求められた平均値となるように、カメラ１の画像データ及びカメラ２の画像データそれぞれに対して輝度値を調整する。

これらの各補正を行なうタイミングは、カメラ１，２による撮像開始前、画像データ合成処理部１２の合成画像データ生成部１２３による画像データの合成処理中、カメラ１，２による撮像終了後などが考えられる。
たとえば、カメラ１，２による撮像開始前に行なう場合は、撮像開始前に、各カメラ１，２でテストパターンなどを用いて撮像を試みる。ここで、撮像された画像データに基づいて補正を行なう。このときの補正パラメータを保存しておき、画像データ合成時に適用する。

また、画像データ合成処理中に行う場合は、各カメラ１，２の画像データを合成画像データ生成部１２３において合成する際に、逐次、実行する。これは前もって補正パラメータを決めておくよりも撮像時における環境の変化（明るさの変化など）を忠実に反映させることができる。

また、撮像終了後に行なう場合は、後に説明する蓄積型に特に有効である。つまり、最終的な画像データの出力までに時間的な余裕がある場合、さらに精度よく補正を行うことができる。
なお、カメラ１，２から出力される各画像データの位置ずれ補正、色補正、輝度補正などの各種の補正は、必ずしもこれをすべて行なう必要はなく、必要に応じて行なえばよい。

[実施形態２]
図９は実施形態２に係る画像データ処理装置１０Ｂの構成を示す図である。実施形態２に係る画像データ処理装置１０Ｂが実施形態１に係る画像データ処理装置１０Ａ（図１参照）と構成的に異なるのは、画像データ記録装置１３が設けられている点であり、その他の構成要素は図１と同じであるので同一部分には同一符号が付されている。

実施形態２に係る画像データ処理装置１０Ｂは、図９に示すように、カメラ１，２から得られたそれぞれの画像データは一旦、画像データ記録装置１３に記録される。なお、画像データ記録装置１３は、図９ではカメラ１，２で共用としたが、各カメラ１，２ごとに設けるようにしてもよい。

図１０は実施形態２に係る画像データ処理装置１０Ｂに用いられる画像データ合成処理部１２の構成を示す図である。図１０に示すように、実施形態２に係る画像データ処理装置１０Ｂに用いられる画像データ合成処理部１２は、図３とほぼ同様の構成であるが、実施形態２の場合、画像データ記録装置１３に記録されているカメラ１，２の画像データが画像データ合成処理部１２に入力される構成となっている。このため、画像データ合成処理部１２は、入力部が１つ（入力部１２１とする）となっている点が図３と異なるだけであり、その他の構成要素は図３と同じであるので同一部分には同一符号が付されている。

なお、画像データ記録装置１３と入力部１２１との間のインタフェースは、ネットワークであってもよいし、一般的なデジタル機器に用いられるＩＥＥＥ１３９４やＵＳＢなどであってもよい。また、出力部１２４から出力される画像データの出力先は、ネットワークであってもよく、プロジェクタなどの画像表示装置であってもよく、また、ハードディスクなどの記録媒体であってもよい。また、撮像手段制御部１１は図２の構成と同じであるので、図示は省略する。

図１１は実施形態２に係る画像データ処理装置１０Ｂにおける画像データ処理手順を説明するフローチャートである。この画像データ処理装置１０Ｂの動作に先立って、まず、ユーザによって遅延時間及び制御コマンドの入力がなされる。そして、撮像手段制御部１１が撮像開始コマンドを各カメラ１，２に送る（ステップＳ２１）。

カメラ１は撮像開始コマンドにより撮像を開始し（ステップＳ２２）、撮像された画像データを画像データ記録装置１３に送る（ステップＳ２３）。一方、カメラ２は遅延時間設定部１１２で設定された遅延時間が経過したか否かを判定し（ステップＳ２４）、遅延時間が経過すると、撮像を開始し（ステップＳ２５）、撮像された画像データを画像データ記録装置１３に送る（ステップＳ２３）。そして、撮像終了コマンドの有無を判定し（ステップＳ２６）、撮像終了コマンドがなければ、カメラ１はステップＳ２２に戻り、カメラ２はステップＳ２４に戻る。なお、遅延時間はカメラ１，２の同期信号として機能するとともに、画像データ合成処理部１２の合成画像データ生成部１２３にも送られ、合成画像データ生成部１２３では、その遅延時間に基づいて合成画像データの生成を行う。

そして、撮像終了コマンドが入ると、画像データ合成処理部１２では、画像データ記録装置１３から画像データを受け取り（ステップＳ２７）、受け取った画像データを画像データ合成処理部１２の合成画像データ生成部１２３が、設定された遅延時間に基づいて合成し（ステップＳ２８）、合成画像データを出力する（ステップＳ２９）。

図１２は画像データ合成処理部１２が行う画像データ合成処理を説明するフローチャートである。
図１２において、まず、合成画像データ生成部１２３は撮像手段制御部１１からの遅延時間を受け取る（ステップＳ３１）。そして、カメラ１の画像データの有無を判定し（ステップＳ３２）、画像データがなければ処理を終了するが、画像データがあれば、入力部１２１が画像データ記録装置１３からカメラ１の画像データ（１フレーム）を受け取り（ステップＳ３３）、受け取った画像データをバッファ１２１ａに一時記憶する（ステップＳ３４）。

次に、カメラ２から出力される画像データの有無を判定し（ステップＳ３５）、カメラ２から出力される画像データがなければ処理を終了するが、画像データがあれば、入力部１２１が画像データ記録装置１３からカメラ２の画像データ（１フレーム）を受け取る（ステップＳ３６）。そして、バッファ１２１ａに記憶しておいたカメラ１の画像データとカメラ２の画像データを合成画像データ生成部１２３に送り(ステップＳ３７)、設定された遅延時間に基づいてそれぞれの画像データを時間的に連続するように合成する（ステップＳ３８）。そして、合成画像データを順次、出力部１２４に送り（ステップＳ３９）、ステップＳ３２に戻る。

この実施形態２においても、実施形態１と同様に、ユーザによって設定される遅延時間は、たとえば、０．５フレーム分の遅延時間、０．３フレーム分の遅延時間というように所定範囲で任意に設定可能である。このように設定された遅延時間に基づいて生成された合成画像データの一例は、実施形態１の図６及び図７で説明したので、ここでは説明を省略する。

なお、ステップＳ３３とステップＳ３６の処理は、画像データ記録装置１３が複数のカメラに対応して備えられている場合には、各カメラに対応する画像データ記録装置から当該カメラの画像データを受け取る。

図１３は画像データ記録装置１３上における画像データの記録状態の一例を示す図である。図１３に示すように、記憶領域の先頭から撮像順（この場合、カメラ１、カメラ２の順）にそれぞれの画像データのフレームが、カメラ１のフレームＦ１、カメラ２のフレームＦ１’、カメラ１のフレームＦ２、カメラ２のフレームＦ２’、・・・というように記録されて行く。なお、画像データ記録装置１３がカメラに対応して備えられている場合には、各カメラに対応する画像データ記録装置に対して、当該カメラの画像データの各フレームがそれぞれ撮像順に記録されて行く。

以上説明した実施形態２によれば、カメラ１，２から出力される画像データを記憶する画像データ記録装置１３を設けることにより、画像データ合成処理部１２が合成画像データ生成処理などの処理を、時間的に余裕を持って行うことができる。このため、画像データ合成処理部１２の処理能力をそれほど高いものとする必要がなくなる。また、画像データ記録装置１３からユーザが任意の時点の画像データを取得することも可能となるといったことも効果の１つとして挙げられる。

[実施形態３]
実施形態３に係る画像データ処理装置は、コンテンツの内容に応じて、遅延時間の設定を可能とするものである。なお、この実施形態３は実施形態１及び実施形態２のいずれにも適用可能であることは勿論であるが、ここでは、実施形態２に適用した例について説明する。また、この実施形態３においても実施形態１及び実施形態２と同様、撮像手段として２台のカメラ１，２を用いた場合について説明する。

実施形態３に係る画像データ処理装置の全体的な構成は、図９に示す画像データ処理装置１０Ｂと同じあるので、実施形態３に係る画像データ処理装置としての図示は省略する。なお、説明の都合上、実施形態３においては、実施形態３に係る画像データ処理装置に１０Ｃの符号を付して画像データ処理装置１０Ｃとして説明する。

図１４は実施形態３に係る画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２の構成を示す図である。図１４が実施形態２の説明で用いた図１０と異なるのは、コンテンツ解析部１２５を有している点である。そして、その概略的な動作は、コンテンツ解析部１２５が画像データ記録装置１３に記録されているカメラ１，２の画像データ間のコンテンツ解析を行い、その解析結果に基づいて遅延時間を設定し、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データとカメラ１から出力される各フレームの画像データとを時間的に連続させた合成画像データを生成する。

図１５は実施形態３に係る画像データ処理装置１０Ｃに用いられる撮像手段制御部１１の構成を示す図である。図１５に示す撮像手段制御部１１は、構成要素としては、実施形態１及び実施形態２の説明で用いた図２と同じであるが、実施形態３ではユーザの設定した遅延時間は、カメラ１，２の撮像時における同期信号のみに使用されるため、画像データ処理装置１０Ｃの合成画像データ生成部１２３には送る必要がなくなる。

コンテンツ解析部１２５は、この実施形態３の場合、カメラ１のフレームＦ１，Ｆ２，・・・とカメラ２のフレームＦ１’，Ｆ２’，・・・の対応するフレーム間のコンテンツ解析を行い、その解析結果から画面全体の動きの変化及び／又は画面全体の明るさの変化を検出（実施形態３では画面全体の動きの変化及び画面全体の明るさ変化の両方を検出するものとする）する機能と、その検出結果に応じた遅延時間（フレーム数）を設定する機能と、設定された遅延時間（フレーム数）を合成画像データ生成部１２３に送る機能とを有している。
また、合成画像データ生成部１２３は、コンテンツ解析部１２５によって設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データとカメラ１から出力される各フレームの画像データとを時間的に連続するように合成して合成画像データを生成する。

なお、コンテンツ解析部１２５が行う動きの変化及び明るさの変化の検出のうち、動きの変化の検出を行った結果、動きの変化が大きい場合は遅延時間を短くし、動きの変化が小さい場合は遅延時間を大きくする。これは、動きの激しい場面で遅延時間を大きく設定すると、動画の視認性が悪くなり、残像感がより大きくなるからである。逆に、動きの緩やかな場面では、遅延時間を大きくとっても動画の視認性に大きな影響を与えないからである。

一方、動きの変化及び明るさの変化の検出のうち、明るさの変化の検出を行った結果、明るさの変化が大きい場合は遅延時間を短くし、明るさの変化が小さい場合は遅延時間を大きくする。これは、明るさの変化が大きい場合は、場面が変化する可能性が高く、このような場面で遅延時間を大きく設定すると、動画の視認性が悪くなり、残像感がより大きくなるからである。逆に、明るさの変化が小さい場合は、場面の変化は小さい場合が多く、この場合は、遅延時間を大きくとっても動画の視認性に大きな影響を与えないからである。

図１６はカメラ１，２で撮像された画像データを用いてコンテンツ解析を行う際のカメラ１，２の各フレームの対応関係を説明する図である。この図１６の画像データ出力タイミングは、実施形態１の説明で用いた図６（Ａ），（Ｂ）と同じ画像データ出力タイミングの例が示されている。
この実施形態３では、図１６に示すように、カメラ１のフレームＦ１とカメラ２のフレームＦ１’とのコンテンツ解析を行い、続いて、カメラ１のフレームＦ２とカメラ２のフレームＦ２’とのコンテンツ解析を行い、続いて、カメラ１のフレームＦ３とカメラ２のフレームＦ３’とのコンテンツ解析を行うというような順序でコンテンツ解析を行うものとする。

ここで、動きの変化の検出（動き検出という）について説明する。動き検出は、種々の方法によって行うことが可能であるが、ここでは、一般的なブロックマッチング法を用いて、フレーム間の動きベクトルを求める例について説明する。

図１７は動き検出において用いられるブロックマッチング法について説明する図である。ブロックマッチング法は、ブロック単位で動きを検出する方法であり、現在、注目しているフレームを含む複数のフレームを利用する。この実施形態３では、現在、注目しているフレーム（ｔフレームとする）とその直前のフレーム（ｔ−１フレームとする）を利用する。なお、図１７の例においては、ｔフレームは、たとえば、図１６におけるカメラ２のフレームＦ１’に相当し、ｔ−１フレームは、たとえば、図１６におけるカメラ１のフレームＦ１に相当する。

図１７に示すように、ｔフレームにおけるブロックＡ１（Ｌ×Ｌのブロックサイズであるとする）をｔ−１フレームで動かして、ｔフレームのブロックＡ１と最もデータ値の近いブロックをｔ−１フレーム内で探索し、その場所と元の場所（破線で示す位置）とのずれ幅を動きベクトルとする。すなわち、以下の式において、Ｄが最小となるときの（ｉ、ｊ）を動きベクトルとする。

（１）式において、ＬはブロックＡ１のサイズ、ｘ，ｙはブロックＡ１のｘ軸方向及びｙ軸方向における移動方向、ｉ，ｊはブロックＡ１の移動量、ｔはフレームを表す。動きベクトルを求める最も簡単な方法は、（ｉ，ｊ）のすべての組み合わせについて（１）式を計算し、Ｄが最小となる（ｉ，ｊ）の組み合わせを求めるという方法である。

このようにして、ｔフレームにおいて、ブロックごとに動きベクトルを求め、求められたブロックごとの動きベクトルから画面全体の動き量を以下の式で計算する。すなわち、動きベクトルをＶとし、ｎ個の動きベクトルが得られたとすると、画面全体の動き量Ｍは、

と表すことができる。この（２）式によって得られた値がｔフレームにおける画面全体の動き量となる。

なお、動き量の計算は、上記のように、各フレームの画面全体について行うようにしてもよいが、計算処理を削減するために、画面中央の領域だけに対して行うようにしてもよい。これは、多くの場合、視聴者が注目するのは画面中央であることによるものである。

以上のようにして、ｔフレームの動き量（ｔ−１フレームに対してどの程度動いたかを示す量）が検出されると、検出された動き量に応じた遅延時間の設定を行う。以下に、動き量に応じた遅延時間設定について説明する。

図１８は動き量に対する遅延時間の設定例を示す図である。なお、この場合、動き量は、０〜２２０の範囲の値に正規化されるものとする。図１８に示すように、動き量が０である場合は、遅延時間としてのフレーム数は１（１フレーム）とし、動き量が２２０である場合は、遅延時間としてのフレーム数は０（０フレーム）とする。また、動き量が中間値の１１０である場合は、遅延時間としてのフレーム数は０．５（０．５フレーム）とする。このように、動き量に応じた遅延時間（フレーム数）を予め設定しておくことができる。

そして、このようにして求められる動き量に対する遅延時間は、動き量から遅延時間の取得が可能なテーブルとして用意しておくことが可能である。
図１９は動き量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図である。図１９に示すように、たとえば、動き量が「０〜２０」の範囲における遅延時間は「１フレーム」、動き量が「２１〜４０」の範囲における遅延時間は「０．９フレーム」、動き量が「２０１〜２２０」の範囲における遅延時間は「０フレーム」というような内容となっており、このようなテーブルを作成しておくことによって、動き量が求められれば容易に動き量に対する遅延時間を設定することができる。

以上、動き検出を行うことによって求められた動き量に応じた遅延時間を設定する例について説明したが、次に、明るさの変化の検出結果に応じた遅延時間を設定する例について説明する。なお、明るさの変化の検出というのは、ここでは輝度差を検出することであるとする。

まず、各フレームの画像データに対し、個々のフレームの画像データの画素の輝度値を取得する。そして、取得した輝度値の平均値を求め、求められた輝度値の平均値を当該フレームの全体の明るさであるとする。このようにして、各フレームにおいて、輝度値の平均値が求められると、フレーム間の輝度値の平均値の差を明るさ変化量とし、その明るさの変化量に基づいて遅延時間としてのフレーム数を設定する。

図２０は明るさの変化量に対する遅延時間の設定例を示す図である。なお、この場合、明るさ変化量は、０〜２２０の範囲の値に正規化されるものとする。図２０に示すように、明るさ変化量が０である場合は、遅延時間としてのフレーム数は１（１フレーム）であり、明るさ変化量が２２０である場合は、遅延時間としてのフレーム数は０（０フレーム）である。また、明るさ変化量が中間値の１１０である場合は、遅延時間としてのフレーム数は０．５（０．５フレーム）と設定される。このように、明るさ変化量に応じた遅延時間としてのフレーム数を予め設定しておくことができる。

そして、このようにして求められる明るさ変化量に対する遅延時間は、動き量と同様、明るさ変化量から遅延時間の取得が可能なテーブルとして用意しておくことが可能である。
図２１は明るさ変化量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図である。図２１に示すように、たとえば、明るさ変化量が「０〜２０」の範囲における遅延時間は「１フレーム」、明るさ変化量が「２１〜４０」の範囲における遅延時間は「０．９フレーム」、明るさ変化量が「２０１〜２２０」の範囲における遅延時間は「０フレーム」というような内容となっており、このようなテーブルを作成しておくことによって、明るさ変化量が求められれば容易に明るさ変化量に対する遅延時間を設定することができる。

以上のようにして、動き量に応じた遅延時間の設定と明るさ変化量に応じた遅延時間の設定を行うことができる。動き量に応じた遅延時間と明るさ変化量に応じた遅延時間のいずれか一方のみを用いることも可能であるが、実施形態２では、動き量と明るさ変化量の両方に基づいた遅延時間の設定を行うものとする。この動き量と明るさ変化量の両方に基づいて設定された遅延時間を、「動き量及び明るさ変化量を考慮した遅延時間」と呼ぶことにする。

この動き量及び明るさ変化量を考慮した遅延時間は、動き量に応じた遅延時間（フレーム数）と明るさ変化量に応じた遅延時間（フレーム数）との平均値とする。たとえば、動き量に応じた遅延時間（フレーム数）が０．３フレームであって、明るさ変化量に応じた遅延時間（フレーム数）が０．７フレームであったとすると、両者の平均を求め、０．５フレームを動き量及び明るさ変化量を考慮した遅延時間として設定する。

なお、動き量に応じた遅延時間（フレーム数）と明るさ変化量に応じた遅延時間（フレーム数）との平均値が、設定可能精度以下の値となった場合には、四捨五入、切り捨て、切り上げのいずれかを行う。
一例として、この実施形態３のように、設定可能精度が小数点１位（０．１フレーム単位）までである場合には、たとえば、「求められた平均値が小数点２位以下の値となった場合には四捨五入する」というように決めておくことができる。これにより、平均値が０．５２というように小数点２位以下の値として求められた場合は、遅延時間は０．５フレームとなる。

図２２は動き量及び明るさ変化量を考慮して設定された遅延時間（フレーム数）と、該遅延時間に基づいて生成された中間画像データの一例を示す図である。図２２は、たとえば、コンテンツ解析を行ったフレームがカメラ１のフレームＦ１とカメラ２のフレームＦ１’である場合、フレームＦ１とフレームＦ１’間において求められた遅延時間（動き量及び明るさ変化量を考慮した遅延時間）は０．３フレームであり、それによってカメラ１のフレームＦ１とフレームＦ２との間に生成される画像データ（中間画像データという）は、１．３フレームの中間画像データであることを示している。

なお、図２２における１．３フレーム、２．５フレーム、３．４フレーム、・・・の中間画像データは、カメラ１の各フレームＦ１，Ｆ２，Ｆ３，・・・のフレーム番号に、求められた遅延時間を足した値（フレーム番号＋遅延時間）で表される。たとえば、カメラ１のフレームＦ１とカメラ２のフレームＦ１’との間で求められた遅延時間が０．３フレームである場合には、１＋０．３＝１．３となり、これによって、１．３フレームの中間画像データが生成されることになる。

図２３は図２２に示された遅延時間と中間画像データとに基づいて生成された合成画像データの例を示す図である。なお、カメラ１，２のフレームレートが共に３０ｆｐｓの場合であるので、合成画像データ生成部１２３では、見かけ上、６０ｆｐｓのフレームレートとなるように、各フレームの時間長を調整する。

図２４は実施形態３に係る画像データ処理装置１０Ｃにおける画像データ処理手順を説明するフローチャートである。この図２４に示すフローチャートにおけるステップＳ４１〜Ｓ４６は、実施形態２で説明した図１１のフローチャートのステップＳ２１〜Ｓ２６と同じであるので、ステップＳ４７以降の動作について説明する。

すなわち、ステップＳ４６において撮像終了コマンドが入ると、コンテンツ解析部１２５が画像データ記録装置１３に記憶されてカメラ１，２のそれぞれの画像データを受け取り、コンテンツ解析を行う（ステップＳ４７）。そして、合成画像データ生成部１２３がコンテンツ解析結果に基づいて中間画像データを生成し、カメラ１の画像データと合成し（ステップＳ４８）、合成画像データを出力する（ステップＳ４９）。

図２５は画像データ合成処理部１２のコンテンツ解析部１２５が行うコンテンツ解析処理と合成画像データ生成部１２３が行う合成画像データ生成処理を説明するフローチャートである。

図２５において、まず、コンテンツ解析部１２５は、カメラ１で撮像された画像データを受け取り（ステップＳ５１）、カメラ２で撮像された画像データを受け取る（ステップＳ５２）。そして、カメラ１の所定のフレームとカメラ２の所定のフレーム（一例として図１６参照）との間（一例として図１６参照）で動き検出及び／又は明るさ検出を行い、動き量及び／又は明るさ変化量を計算する（ステップＳ５３）。

なお、この実施形態３では動き量と明るさ変化量の両方を求めるものとする。そして、ステップＳ５３で得られた動き量と明るさ変化量に基づいて、動き量及び明るさ変化量を考慮した遅延時間を挿入位置として求め、コンテンツ解析に用いたフレームの画像データとともに、その結果として求められた遅延時間を合成画像データ生成部１２３に送る（ステップＳ５４）。

これにより、合成画像データ生成部１２３では、コンテンツ解析部１２５から送られてきた遅延時間とコンテンツ解析に用いたフレームの画像データとから中間画像データを生成する（ステップＳ５５）。そして、生成された中間画像データをカメラ１の所定のフレームに対して、遅延時間に基づいて時間的に連続するように合成し（ステップＳ５６）、その合成画像データを順次出力する（ステップＳ５７）。

以上説明したように実施形態３によれば、実施形態２と同様の効果が得られるほか、実施形態３では、コンテンツの内容に応じて遅延時間を設定し、設定された遅延時間に基づいて中間画像データを生成し、生成された中間画像データとカメラ１の画像データとを時間的に連続するように合成して合成画像データを生成するようにしている。

このように生成された合成画像データは、たとえば、動きの激しい場面や明るさの変化が大きい場面、動きの緩やかな場面や明るさの変化の小さな場面などに追従した滑らかな動画の再現が可能な画像データとすることができる。なお、前述したように、実施形態３は実施形態１においても適用可能であることは勿論である。

また、カメラ１，２の各フレーム間におけるコンテンツ解析は、図１６に示した例に限られるものではない。たとえば、カメラ１のフレームＦ１とカメラ２のフレームＦ１’とのコンテンツ解析を行ったあと、カメラ２のフレームＦ１’とカメラ２のフレームＦ２とのコンテンツ解析を行い、カメラ２のフレームＦ２とカメラ２のフレームＦ２’とのコンテンツ解析を行うというようにしてもよい。

[実施形態４]
これまで説明した実施形態１〜実施形態３の画像データ処理装置１０Ａ，１０Ｂ，１０Ｃを用いた画像表示システムを構成することができる。実施形態４ではこの画像表示システムについて説明する。なお、実施形態１〜実施形態３のいずれの画像データ処理装置１０Ａ，１０Ｂ，１０Ｃを用いても画像表示システムを構成することは可能であることは勿論であるが、ここでは、実施形態１に係る画像データ処理装置１０Ａを用いた画像表示システムについて説明する。

図２６は実施形態４に係る画像表示システムの構成を示す図である。実施形態４に係る画像表示システムは、概略的には、図２６に示すように、撮像手段としてのカメラ１，２、画像データ処理装置１０Ａ、画像表示装置２０、ＰＣなどの情報処理装置３０を有している。

このような画像表示システムにおいて、遅延時間の設定や撮像開始・終了などのコマンド入力は情報処理装置３０上でマウスやキーボード操作などにより行うことができる。そして、画像データ処理装置１０Ａから出力される画像データ、たとえば、図６（Ｃ）や図７（Ｃ）のような合成画像データは、画像表示装置２０に送られて表示される。

図６（Ｃ）や図７（Ｃ）に示す合成画像データは、カメラ１，２からの３０ｆｐｓの画像データが時間的に連続するように合成されることで６０ｆｐｓの合成画像データとして出力された場合である。

なお、画像表示装置２０が対応表示装置である場合には、図７（Ｃ）のように、フレームごとに時間長（表示時間）が等間隔でない合成画像データであっても、それぞれのフレームの時間長に対応した表示が可能であるが、画像表示装置２０が非対応表示装置である場合は、通常の６０ｆｐｓの画像データとしての表示を行なう。

図２６に示すような画像表示システムを構築することにより、画像データ処理装置１０Ａ側では、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを出力することができる。これにより、画像表示装置２０側では、高画質な画像データの表示を行うことができる。

図２７は図２６に示す画像表示システムの変形例を示す図である。図２７に示す画像表示システムは、画像データ処理装置１０ＡとしてＰＣなどの情報処理装置３０を用いている。したがって、情報処理装置３０には、画像データ合成処理部１２としての動作が可能なソフトウエア（画像データ合成処理プログラム）と、撮像手段制御部１１としての動作が可能なソフトウエア（撮像手段制御プログラム）が組み込まれている。なお、遅延時間や制御コマンドの入力は情報処理装置３０上でマウスやキーボード操作などにより行なうことが可能である。

この図２７に示す画像表示システムにおいても図２６の画像表示システムと同様の効果が得られる。さらに、この図２７に示すような構成とすることにより、システム全体をより簡素化することができる。なお、本発明の画像表示システムは、実施形態１に係る画像データ処理装置１０Ａだけでなく、実施形態２及び実施形態３に係る画像データ処理装置１０Ｂ，１０Ｃを用いてもよいことは勿論である。

本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、カメラ１，２の設置の仕方としては、図２８（Ａ）に示すように、カメラ１，２をそれぞれの光軸が直交するように設置して、ハーフミラー４を用いて被写体３を撮像するような設置の仕方であってもよい。また、カメラは３台以上としてもよいことは勿論であり、その場合の設置に仕方としては、たとえば、図２８（Ｂ）に示すように、複数のハーフミラー４を設けるような例が考えられる。

また、実施形態１〜実施形態３の各画像データ処理装置１０Ａ，１０Ｂ，１０Ｃは、撮像手段、撮像手段制御部１１及び画像データ合成処理部１２を含む単体装置として構成することも可能である。
図２９は画像データ処理装置を撮像手段、撮像手段制御部及び画像データ合成処理部を含む単体装置として構成した例を示す図である。図２９に示す画像データ処理装置は、実施形態１に係る画像データ処理装置１０Ａ（図１参照）に対応するものであり、２台のカメラ１，２としての機能を果たす２つのＣＣＤ５ａ，５ｂ、これら各ＣＣＤ５ａ，５ｂに対応して設けられるＣＣＤドライバ６ａ，６ｂ、レンズ７、ハーフミラー４と、図１の撮像手段制御部１１と画像データ合成処理部１２を有している。

画像データ処理装置をこの図２９に示すような構成とすることにより、全体の構成を簡素化することができる。なお、このように画像データ処理装置を単体構成とすることは、実施形態１に係る画像データ処理装置１０Ａだけでなく、実施形態２及び実施形態３に係る画像データ処理装置１０Ｂ，１０Ｃについても同様に実施可能である。

また、本発明は以上説明した本発明を実現するための画像データ処理手順が記述された画像データ処理プログラムを作成し、その画像データ処理プログラムを各種の記録媒体に記録させておくこともできる。したがって、本発明は、その画像データ処理プログラムの記録された記録媒体をも含むものである。また、ネットワークからその画像データ処理プログラムを得るようにしてもよい。

実施形態１に係る画像データ処理装置１０Ａの構成を示す図。 実施形態１に係る画像データ処理装置１０Ａに用いられる撮像手段制御部１１の構成を示す図。 実施形態１に係る画像データ処理装置１０Ａに用いられる画像データ合成処理部１２の構成を示す図。 実施形態１に係る画像データ処理装置１０Ａの画像データ処理手順を説明するフローチャート。 実施形態１に係る画像データ処理装置１０Ａの画像データ合成処理部１２が行う画像データ合成処理を説明するフローチャート。 実施形態１に係る画像データ処理装置１０Ａの画像データ合成処理部１２が行う画像データ合成処理（その１）を説明するタイムチャート。 実施形態１に係る画像データ処理装置１０Ａの画像データ合成処理部１２が行う画像データ合成処理（その２）を説明するタイムチャート。 実施形態１に係る画像データ処理装置１０Ａの合成画像データ生成部１２３から出力される合成画像データのデータフォーマットの一例を示す図。 実施形態２に係る画像データ処理装置１０Ｂの構成を示す図。 実施形態２に係る画像データ処理装置１０Ｂに用いられる画像データ合成処理部１２の構成を示す図。 実施形態２に係る画像データ処理装置１０Ｂにおける画像データ処理手順を説明するフローチャート。 実施形態２に係る画像データ処理装置１０Ｂの画像データ合成処理部１２が行う画像データ合成処理を説明するフローチャート。 画像データ記録装置１３上における画像データの記録状態の一例を示す図。 実施形態３に係る画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２の構成を示す図。 実施形態３に係る画像データ処理装置１０Ｃに用いられる撮像手段制御部１１の構成を示す図。 カメラ１，２で撮像された画像データを用いてコンテンツ解析を行う際のカメラ１，２の各フレームの対応関係を説明する図。 動き検出において用いられるブロックマッチング法について説明する図。 動き量に対する遅延時間の設定例を示す図。 動き量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図。 明るさ変化量に対する遅延時間の設定例を示す図。 明るさ変化量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図。 動き量及び明るさ変化量を考慮した遅延時間（フレーム数）と、該遅延時間に基づいて生成された中間画像データの一例を示す図。 図２２に示された遅延時間と中間画像データとに基づいて生成された合成画像データの例を示す図。 実施形態３に係る画像データ処理装置１０Ｃにおける画像データ処理手順を説明するフローチャート。 実施形態３に係る画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２のコンテンツ解析部１２５が行うコンテンツ解析処理と合成画像データ生成部１２３が行う合成画像データ生成処理を説明するフローチャート。 実施形態４に係る画像表示システムの構成を示す図。 図２６に示す画像表示システムの変形例を示す図。 カメラ１，２の設置の仕方の例を説明する図。 画像データ処理装置を撮像手段、撮像手段制御部及び画像データ合成処理部を含む単体装置として構成した例を示す図。

符号の説明

１，２・・・カメラ、３・・・被写体、１０Ａ，１０Ｂ，１０Ｃ・・・画像データ処理装置、１１・・・撮像手段制御部、１２・・・画像データ合成処理部、１３・・・画像データ記録装置、１１１・・・ユーザ設定情報入力部、１１２・・・遅延時間設定部、１２１，１２２・・・入力部、１２３・・・合成画像データ生成部、１２４・・・出力部、１２５・・・コンテンツ解析部

Claims (17)

1. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部と、
   前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部と、
   を有することを特徴とする画像データ処理装置。
2. 請求項１に記載の画像データ処理装置において、
   前記遅延時間は、所定範囲で任意に設定可能であることを特徴とする画像データ処理装置。
3. 請求項１または２に記載の画像データ処理装置において、
   前記遅延時間は、前記合成画像データの各フレームが時間的に等間隔となるような設定が可能であることを特徴とする画像データ処理装置。
4. 請求項１または２に記載の画像データ処理装置において、
   前記遅延時間は、前記合成画像データの各フレームが時間的に非等間隔となるような設定が可能であることを特徴とする画像データ処理装置。
5. 請求項１〜４のいずれかに記載の画像データ処理装置において、
   前記複数の撮像手段から出力される各画像データは同じフレームレートであることを特徴とする画像データ処理装置。
6. 請求項１〜５のいずれかに記載の画像データ処理装置において、
   前記画像データ合成処理部は、前記複数の撮像手段から出力される各画像データの位置ずれ補正、前記複数の撮像手段から出力される各画像データの色補正、前記複数の撮像手段から出力される各画像データの輝度補正の少なくとも１つの補正を行う機能を有することを特徴とする画像データ処理装置。
7. 請求項１〜６のいずれかに記載の画像データ処理装置において、
   前記複数の撮像手段から出力される各画像データを記憶する画像データ記録装置を有し、前記画像データ合成処理部は、前記画像データ記録装置に記録された画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成することを特徴とする画像データ処理装置。
8. 請求項１〜７のいずれかに記載の画像データ処理装置において、
   前記画像データ合成処理部は、前記合成画像データを該合成画像データに各フレームの時間長を示す情報を付加したデータフォーマットのファイルとして出力することを特徴とする画像データ処理装置。
9. 請求項１〜７のいずれかに記載の画像データ処理装置において、
   前記画像データ合成処理部は、前記合成画像データの各フレームの時間長を示す情報を、前記合成画像データとは別のファイルとして出力することを特徴とする画像データ処理装置。
10. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像するステップと、
    前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する生成するステップと、
    を有することを特徴とする画像データ処理方法。
11. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像するステップと、
    前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成するステップと、
    を実行可能であることを特徴とする画像データ処理プログラム。
12. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部、前記複数の撮像手段から前記時間差に対応する遅延時間を有して出力される各画像データを前記遅延時間に基づいて時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部を有する画像データ処理装置と、
    前記画像データ処理装置から出力される合成画像データを表示する画像表示装置と、
    を有することを特徴とする画像表示システム。
13. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部と、
    前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定する機能、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成する機能を有する画像データ合成処理部と、
    を有することを特徴とする画像データ処理装置。
14. 請求項１３に記載の画像データ処理装置において、
    前記コンテンツ解析は、前記複数の撮像手段から出力される各画像データに基づいて画像の動きの変化及び／又は明るさの変化を検出することにより行うことを特徴とする画像データ処理装置。
15. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像するステップと、
    前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定するステップと、
    該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成するステップと、
    を有することを特徴とする画像データ処理方法。
16. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像するステップと、
    前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定するステップと、
    該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成するステップと、
    を実行可能であることを特徴とする画像データ処理プログラム。
17. 同じ被写体を同一撮像範囲で撮像可能な複数の撮像手段が該複数の撮像手段間で同期を取って前記被写体を所定の時間差を有して撮像可能となるように撮像制御する撮像手段制御部、前記複数の撮像手段から前記所定の時間差を有して出力される各画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間を設定する機能、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段から出力される画像データとを時間的に連続させるように合成して合成画像データを生成する機能を有する画像データ合成処理部を有する画像データ処理装置と、
    前記画像データ処理装置から出力される合成画像データを表示する画像表示装置と、
    を有することを特徴とする画像表示システム。

Images