JP2006270160A - 画像データ処理装置 - Google Patents

Abstract

【課題】動画の撮像が可能な汎用のカメラを用いて時間軸上において高画質な画像データを出力可能とする。
【解決手段】 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段および前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成する手段を有する画像データ合成処理部１２を有する。
【選択図】 図１

Description

本発明は、複数の撮像手段を用いて同じ被写体の撮像を行なうに好適な画像データ処理装置、画像データ処理方法、画像データ処理プログラムに関し、さらに、画像データ処理装置とこの画像データ処理装置から出力された画像データの表示が可能な画像表示装置とを有した画像表示システムに関する。

画像をデジタルデータとして取り込み可能なデジタルカメラやデジタルビデオカメラ、さらには、携帯電話機、テレビ電話、Ｗｅｂカメラなどのデジタル撮像機器が広く使用されるようになってきている。これらのデジタル撮像機器は普及が進むにつれ、より一層の高画質化が要求されるようになってきている。

静止画については、撮像可能な画像の画素数が増加してきており、空間軸上における高画質化は高いレベルに達しつつある。これに対して、動画は静止画に比べると、画質という点でまだまだ及ばないのが現状である。たとえば、ハイビジョン画像は、画素数でみれば高々２００万画素であり、一世代あるいは二世代前のデジタルカメラと同程度かそれ以下である。さらに、動画において最も重要な時間軸上における高画質化については、より一層の改善が要求されている。

気軽に入手できるデジタル撮像機器としては、たとえば、携帯電話機やＷｅｂカメラなどがあるが、いずれも動画の品質は高いとはいえない。一般に、画素数（解像度）を優先すればフレームレートを犠牲にすることになり、逆にフレームレートを優先すれば画素数（解像度）を犠牲することになる。なお、フレームレートは時間軸上での画質の高さを示すものであり、高フレームレートであれば、時間軸上において高画質であるともいえる。

動画において時間軸上の高画質化を実現する技術の一例として、特許文献１が挙げられる。
特許文献１に開示された技術は、デジタルカメラまたはフィルムカメラの持つ連写機能を複数のカメラ間でクロックやタイマなどを用いて連携させることで、高速な撮像を実現することを目的としている。

特開２００１−１６６３７４号公報

しかし、特許文献１に開示された技術は、（ｉ）連写機能を有するカメラが複数台必要、（ii）複数のカメラの連携をとるための複雑な仕組みが必要、（iii）複数のカメラの状態を監視するための仕組みが必要といった問題がある。

（ｉ）については、連写機能を有するカメラは一般的には高価であるということが問題となる。連写枚数が１秒間に数枚程度の比較的安価なカメラもあるが、特許文献１に開示された技術により、一般的な動画のフレームレートを実現するためには、多くの台数のカメラが必要となる。すなわち、３０フレーム／秒（以下では、フレーム／秒をｆｐｓと表記する）を実現するには、３枚／秒のカメラでは１０台のカメラが必要となり、５枚／秒のカメラでも５台のカメラが必要となる。したがって、たとえば、６０ｆｐｓの高画質な画像データを実現するには、さらに多くのカメラが必要となり、現実的ではない。

また、（ii）については、特許文献１に開示された技術の場合、静止画用のカメラを用いるため、シャッタの制御や、それに合わせたカメラ間の同期の考慮など、システムの制御が複雑化し、かつ、高精度な制御が要求される。これにより、システムそのものが高価なものとなるという問題もある。

さらに、（iii）については、これも（ii）と同様の静止画用のカメラを用いることによる問題である。一般に、連写機能は、撮像は高速に行なわれるものの、カメラに内蔵されている記録媒体への記録に時間を要する。連続した撮像のためには、各カメラの状態を監視し、連写機能の終了後に次の連写撮像が可能であるか否かを常に監視していなければならない。これは、システムを複雑化する要因にもなる。

そこで本発明は、動画の撮像が可能な汎用のデジタル撮像機器を複数台用いることにより、時間軸上において高画質な画像データを生成可能で、かつ、システムを複雑化することのない画像データ処理装置、画像データ処理方法、画像データ処理プログラムを提供することを目的とするとともに、さらに、画像データ処理装置とこの画像データ処理装置から出力された画像データの表示が可能な画像表示装置とを有した画像表示システムを提供することを目的とする。

（１）本発明の画像データ処理装置は、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段と、前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成する手段とを有することを特徴とする。

これにより、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、本発明によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなる。また、本発明では複数の撮像手段からそれぞれ入力した異なったフレームレートの画像データに対しても合成画像データを生成することができる。
なお、撮像手段としては、本発明用として特別に用意されたものではなく、動画の撮像が可能な汎用の撮像機器（デジタルビデオカメラなど）を用いることができ、しかも、各撮像手段が異なったフレームレートを有するものであってもよい。

（２）前記（１）に記載の画像データ処理装置においては、前記合成画像データを生成する手段は、前記複数の撮像手段のうち最も高いフレームレートを有する撮像手段のフレームレートと該最も高いフレームレートを有する撮像手段以外の他の撮像手段のフレームレートとの比に基づいて、前記最も高いフレームレートを有する撮像手段の画像データに対する前記他の撮像手段の画像データの挿入位置を設定し、該挿入位置で各画像データにおける各フレーム画像を時間的に連続するように合成することで合成画像データを生成することが好ましい。
このような画像データの合成処理を行うことにより、複数の撮像手段からそれぞれ入力した異なったフレームレートの画像データに対しても適切に合成画像データを生成することが可能となる。なお、本発明の各実施形態では、各フレームに対応する画像データをフレーム画像と呼ぶことにする。

（３）前記（１）または（２）に記載の画像データ処理装置においては、前記複数の撮像手段のうち少なくとも１つの撮像手段に対し、撮像開始時間の設定が可能な撮像手段制御手段を有することが好ましい。
このような撮像手段制御手段を設けることによって、撮像開始時間の設定をユーザなどにより所定範囲内で任意に行なえるようにすることができる。たとえば、各撮像手段に対して個別に撮像開始時間の設定を行うこともできるし、また、基準となる撮像手段を設定して該撮像手段に対する時間差の設定も可能である。

（４）前記（１）〜（３）のいずれかに記載の画像データ処理装置においては、前記入力した複数の画像データに対し、位置ずれ補正、色補正、輝度補正のうち少なくとも１つの補正を行う手段を有することが好ましい。
これにより、複数の撮像手段から得られる画像データを時間的に連続した合成画像データとしたとき、その合成画像データは各フレーム画像間で整合性の取れた高品質な画像データとすることができる。

（５）前記（１）〜（４）のいずれかに記載の画像データ処理装置においては、前記複数の撮像手段から入力した各画像データを記憶する画像データ記録装置を有し、前記合成画像データを生成する手段は、前記画像データ記録装置に記録された前記各画像データを用いて合成画像データを生成することが好ましい。
このように、各撮像手段で撮像された画像データを記録する画像データ記録装置を設け、この画像データ記録装置に画像データを一時的に記録することで、画像データ合成処理部が行う合成画像データ生成処理などの処理を時間的な余裕を持って行うことができ、画像データ合成処理部の処理能力をそれほど高いものとする必要がなくなる。また、画像データ記録装置からユーザが任意の時点の画像データを取得することも可能となる。

（６）本発明の画像データ処理方法は、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成するステップとを有することを特徴とする。
この画像データ処理方法によっても前記（１）に記載の画像データ処理装置と同様の効果が得られる。なお、この画像データ処理方法においても、前記（２）〜（５）の画像データ処理装置と同様の特徴を有することが好ましい。

（７）本発明の画像データ処理プログラムは、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成するステップとを実行可能であることを特徴とする。
この画像データ処理方プログラムによっても前記（１）に記載の画像データ処理装置と同様の効果が得られる。なお、この画像データ処理方法においても、前記（２）〜（５）の画像データ処理装置と同様の特徴を有することが好ましい。

（８）本発明の画像データ表示システムは、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段及び前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成する手段を有する画像データ処理装置と、前記画像データ処理装置から出力される合成画像データを表示する画像表示装置とを有することを特徴とする。

このような画像表示システムによれば、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、本発明によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなり、画像表示装置では時間軸上において高画質な画像データを表示することができる。
なお、前記撮像手段としては、本発明用として特別に用意されたものではなく、動画の撮像が可能な汎用の撮像手段（デジタルビデオカメラなど）を用いることができるので、高画質の画像データ表示システムを安価に構成することができる。また、本発明では、各撮像手段が異なったフレームレートを有するものであってもよい。なお、この画像表示システムにおいても、前記（２）〜（５）の画像データ処理装置と同様の特徴を有することが好ましい。

（９）本発明の画像データ処理装置は、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段と、前記入力した複数の画像データを用いてコンテンツ解析を行う手段と、前記コンテンツ解析の結果に基づいて遅延時間を設定する手段と、前記遅延時間に基づいて中間画像データを生成する手段と、前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成する手段とを有することを特徴とする。

これにより、前記（１）の画像データ処理装置と同様の効果が得られるほか、この（９）に記載の画像データ処理装置では、コンテンツの内容に応じて設定された遅延時間に基づく中間画像データを生成し、生成された中間画像データと複数の撮像手段のある撮像手段から入力した画像データとを時間的に連続させるようにしているので、より動きの滑らかな動画の再現が可能な合成画像データを生成することができる。

（１０）前記（９）に記載の画像データ処理装置においては、前記コンテンツ解析は、前記入力した複数の画像データに基づいて画像の動きの変化及び／又は明るさの変化を検出することにより行うことが好ましい。
これによれば、動きの変化及び／又は明るさの変化に応じた遅延時間を設定することができる。たとえば、動きの激しい場面や明るさの変化の激しい場面では遅延時間を短くし、逆に、動きの緩やかな場面や明るさの変化の緩やかな場面では遅延時間を長くするというような遅延時間設定を行う。これによって、コンテンツの内容の変化に追従した最適な遅延時間の設定が可能となり、その遅延時間を用いることによりコンテンツの内容に応じた中間画像データを生成することができる。

（１１）前記（９）または（１０）に記載の画像データ処理装置においては、前記コンテンツ解析を行う手段は、前記複数の撮像手段のうち最も高いフレームレートを有する撮像手段のフレームレートと前記最も高いフレームレートを有する撮像手段以外の他の撮像手段のフレームレートとの比に基づいて、前記コンテンツ解析を行う際の前記最も高いフレームレートを有する撮像手段のフレーム画像と前記他の撮像手段のフレーム画像との対応付けを行い、該対応付けられたフレーム画像間でコンテンツ解析を行うことが好ましい。
これにより、各撮像手段の撮像タイミングの違いに対応した適切な中間画像データを生成することができ、このような中間画像データを用いて生成された合成画像データは、より自然な動画の再現が可能な画像データとすることができる。

（１２）前記（１１）に記載の画像データ処理装置においては、前記合成画像データを生成する手段は、前記応付けられたフレーム画像間でコンテンツ解析を行うことによって生成された中間画像データと前記最も高いフレームレートを有する撮像手段から入力した画像データとを、前記対応付けられたフレーム画像の時間的な位置関係を考慮して時間的に連続させるように合成することが好ましい。
このようにして生成された合成画像データは、各撮像手段での撮像順番に沿った画像データとすることができ、自然な動きの再現が可能となる画像データとすることができる。

（１３）前記（９）〜（１２）のいずれかに記載の画像データ処理装置においては、前記合成画像データを、該合成画像データにおける各フレーム画像の時間長を示す情報を付加したデータフォーマットのデータとして出力する手段を有することが好ましい。
これにより、合成画像データを表示する画像表示装置側で合成画像データの表示を行なう際に適切な表示が行える。

（１４）前記（９）〜（１２）のいずれかに記載の画像データ処理装置においては、前記合成画像データを、該合成画像データにおける各フレーム画像の時間長を示す情報を、前記合成画像データとは別のデータとして出力する手段を有することが好ましい。
これにより、本発明に対応する画像表示装置においては、合成画像データのデータと各フレーム画像の時間長を示す情報のデータの両方を読み込んで、その内容に応じた処理を行うことが可能であり、また、本発明に対応しない画像表示装置においては、合成画像データのデータのみを読み込んで、その内容に応じた処理を行うことが可能となる。

（１５）本発明の画像データ処理方法は、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、前記入力した複数の画像データを用いてコンテンツ解析を行うステップと、前記コンテンツ解析の結果に基づいて遅延時間を設定するステップと、前記遅延時間に基づいて中間画像データを生成するステップと、前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成するステップとを有することを特徴とする。
この画像データ処理方法によっても前記（９）に記載の画像データ処理装置と同様の効果が得られる。なお、この（１５）に記載の画像データ処理方法においても、前記（３）〜（５）、（１０）〜（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

（１６）本発明の画像データ処理プログラムは、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、前記入力した複数の画像データを用いてコンテンツ解析を行うステップと、前記コンテンツ解析の結果に基づいて遅延時間を設定するステップと、前記遅延時間に基づいて中間画像データを生成するステップと、前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成するステップとを実行可能であることを特徴とする。
この画像データ処理プログラムによっても前記（９）に記載の画像データ処理装置と同様の効果が得られる。なお、この（１５）に記載の画像データ処理方法においても、前記（３）〜（５）、（１０）〜（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

（１７）本発明の画像データ表示システムは、複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段、前記入力した複数の画像データを用いてコンテンツ解析を行う手段、前記コンテンツ解析の結果に基づいて遅延時間を設定する手段、前記遅延時間に基づいて中間画像データを生成する手段及び前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成する手段を有する画像データ処理装置と、前記画像データ処理装置から出力される合成画像データを表示する画像表示装置とを有することを特徴とする。

この（１７）に記載の画像表示システムによっても前記（８）に記載の画像表示システムと同様の効果が得られるほか、この（１７）に記載の画像表示システムでは、コンテンツの内容に応じて設定された遅延時間に基づく中間画像データを生成し、生成された中間画像データと複数の撮像手段のある撮像手段から入力した画像データとを時間的に連続させるようにしているので、より動きの滑らかな動画の再現が可能な合成画像データを生成することができる。なお、この（１７）に記載の画像表示システムにおいても、前記（３）〜（５）、（１０）〜（１４）の画像データ処理装置と同様の特徴を有することが好ましい。

以下、本発明の実施の形態について説明する。
[実施形態１]
図１は実施形態１に係る画像データ処理装置の構成を示す図である。実施形態１に係る画像データ処理装置１０Ａは、同じ被写体を同一の撮像範囲で所定の時間差を有して撮像した画像データを異なるフレームレートで出力可能な複数の撮像手段（実施形態１では２台のカメラ１，２とする）を撮像制御する撮像手段制御部１１と、カメラ１，２で撮像されたそれぞれの画像データを記憶する画像データ記録装置１３と、画像データ記録装置１３に記録されたカメラ１，２の各画像データを入力する手段、入力された各画像データを時間的に連続するように合成した合成画像データを生成する手段及び生成された合成画像データを出力する手段を有する画像データ合成処理部１２とを有している。なお、画像データ記録装置１３は、図１ではカメラ１，２で共用としたが、各カメラ１，２ごとに設けるようにしてもよい。

また、カメラ１，２は動画をデジタルデータとして取り込み可能なカメラであって、たとえば、デジタルビデオカメラなどを用いることができる。これらカメラ１，２は本発明用として用意された専用のカメラである必要はなく、汎用のカメラの使用が可能である。また、性能的にも特に高性能である必要はなく、たとえば、性能の高さをフレームレートで表すとすれば、３０ｆｐｓ程度のフレームレートであればよい。

これらカメラ１，２は、同じ被写体３を撮像可能で、かつ、カメラ１，２の視差が小さくなるように（望ましくは視差が無いように）、すなわち、同一の撮像範囲での撮像が可能となるように設置することが望ましい。また、光軸及び走査線が平行となるように設置されることもまた望ましい。このように、カメラ１，２は被写体３を静止画として同時に撮像した際に同一の画像が得られるように設置することが望ましい。また、カメラ１，２は本発明においては、各カメラから出力される画像データのフレームレートが各カメラ間で異なるものとする。

なお、実施形態１では、撮像開始時すなわち初回の撮像（第１番目のフレーム画像として出力される画像データを得るための撮像）においては、カメラ２はカメラ１に対し、ユーザなどにより設定された遅延時間に対応する時間差を有して被写体３を撮像するものとする。この撮像開始時における撮像（以下では初回の撮像という）における時間差の設定は、撮像手段制御部１１により設定を可能とする。また、設定する時間差はユーザによって所定範囲内で任意に設定可能である。

図２は画像データ処理装置１０Ａに用いられる撮像手段制御部１１の構成を示す図である。
図２に示すように、撮像手段制御部１１は、ユーザにより設定された遅延時間及び制御コマンド（撮像開始・終了コマンドなど）を入力するユーザ設定情報入力部１１１と、ユーザ設定情報入力部１１１に入力された遅延時間に基づいて遅延時間設定を行なうとともにその遅延時間を記憶可能な遅延時間設定部１１２と、遅延時間設定部１１２により設定された遅延時間及びユーザ設定情報入力部１１１に入力された制御コマンドをカメラ１，２に送信する送信部１１３を有している。なお、実施形態１では、前述したように、初回の撮像においては、カメラ２がカメラ１に対してユーザの設定した遅延時間に対応する時間差を有して撮像を開始する。

また、遅延時間及び制御コマンドは、たとえば、設定値入力ボタンなどによって入力することも可能であり、また、リモートコントローラやパーソナルコンピュータ（ＰＣという）などからネットワークやＵＳＢを介して入力することも可能である。

なお、本発明の各実施形態では、遅延時間はフレーム数で表すものとする。すなわち、フレームレートが３０ｆｐｓであるとすれば、遅延時間が１／３０秒である場合は、それをフレーム数で表すと１フレームとなり、遅延時間が１／６０秒である場合は、それをフレーム数で表すと０．５フレームとなる。

したがって、遅延時間として１フレームが設定されたとすれば、遅延時間としては１／３０秒が設定されたことになり、また、遅延時間として０．５フレームが設定されたとすれば、遅延時間としては１／６０秒が設定されたことになる。

図３は画像データ処理装置１０Ａに用いられる画像データ合成処理部１２の構成を示す図である。図３に示すように、画像データ合成処理部１２は、画像データ記録装置１３に記録されたカメラ１，２から出力される各画像データを入力する入力部１２１、この入力部１２１に入力された各画像データ、すなわち、画像データ記録装置１３から出力されるカメラ１，２で撮像された各画像データの各フレーム画像を時間的に連続した合成画像データとする合成画像データ生成部１２３、合成画像データ生成部１２３で生成された合成画像データを出力する出力部１２４を有している。なお、入力部１２１はバッファ１２１ａを有している。

図４は画像データ処理装置１０Ａにおける画像データ処理手順を説明するフローチャートである。この画像データ処理装置１０Ａの動作に先立って、まず、ユーザによって遅延時間及び制御コマンドの入力がなされる。そして、撮像手段制御部１１が撮像開始コマンドを各カメラ１，２に送る（ステップＳ１）。

カメラ１は撮像開始コマンドにより撮像を開始し（ステップＳ２）、撮像された画像データを画像データ記録装置１３に送る（ステップＳ３）。一方、カメラ２は、まず、初回の撮像か否かが判定され（ステップＳ４）、初回の撮像であれば、遅延時間設定部１１２で設定された遅延時間が経過したか否かを判定し（ステップＳ５）、遅延時間が経過すると、撮像を開始する（ステップＳ６）。また、ステップＳ４において、初回の撮像でないと判定された場合は、直接、ステップＳ６の動作を行なう。カメラ２で撮像された画像データも画像データ記録装置１３に送られる（ステップＳ３）。なお、遅延時間は初回の撮像においてのみ、カメラ１，２の同期信号として機能する。

そして、撮像終了コマンドの有無を判定し（ステップＳ７）、撮像終了コマンドがなければ、カメラ１はステップＳ２に戻り、カメラ２はステップＳ４に戻る。また、ステップＳ７において撮像終了コマンドが入ったと判定されると、画像データ合成処理部１２の合成画像データ生成部１２３が画像データ記録装置１３に記録されたカメラ１，２で撮像された画像データを受け取る（ステップＳ８）。合成画像データ生成部１２３では画像データ記録装置１３から受け取ったカメラ１、２で撮像された各画像データを時間的に連続するように合成し（ステップＳ９）、合成画像データを出力する（ステップＳ１０）。

ところで、本発明では、カメラ１，２はフレームレートが異なるものを用いている。たとえば、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１０ｆｐｓであるとした場合、仮にカメラ１，２の撮像タイミングが互いに同期が取れ、かつ、同時に撮像を開始したとすれば、カメラ１，２から出力される画像データの出力タイミングは図５に示すようなタイミングとなる。この図５からもわかるように、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１０ｆｐｓである場合には、カメラ１の３フレーム分がカメラ２の１フレーム分に相当する。
なお、図５において、フレームＦ１，Ｆ２，・・・は、カメラ１から出力される画像データにおけるフレーム画像を表し、フレームＦ１’，Ｆ２’，・・・はカメラ２から出力される画像データにおけるフレーム画像を表している。また、明細書中では、フレーム画像Ｆ１，Ｆ２，・・・というように表記するが、図５においては、「画像」を省略してフレームＦ１，Ｆ２，・・・のように表記している。これは、以降の説明に用いる他の図においても同様である。

図６は画像データ処理装置１０Ａにおけるカメラ１，２からの画像データの入力タイミングを示すタイムチャートである。実施形態１では、カメラ２はカメラ１に対して、初回の撮像においてはユーザによって設定された遅延時間に対応する時間差（ここでは、０．３フレーム分の時間差とする）だけ遅れて撮像を開始するものとしている。また、実施形態１（後に説明する他の実施形態も同様）では、カメラ１，２のフレームレートは、カメラ１が３０ｆｐｓ、カメラ２が１０ｆｐｓであるとする。

このように、フレームレートの異なるカメラ１，２において、カメラ２がカメラ１に対して０．３フレーム分だけ遅れて撮像を開始した場合、図６（Ａ），（Ｂ）に示すように、カメラ２の初回の撮像による画像データは、カメラ１に対して０．３フレーム分の時間差を有して出力される。なお、初回の撮像における遅延時間は０．３フレームに限られるものではなく、所定範囲内で任意に設定することができることは勿論である。

また、そのあとの撮像すなわち２回目以降の撮像（第２番目のフレーム画像として出力される画像データを得るための撮像）については、各カメラ１，２間で撮像の同期を取らないので、それぞれの画像データの撮像タイミングは所定の条件のもとで任意となる。このため、２回目以降の撮像によって得られる各フレーム画像の出力タイミングも任意なものとなる。なお、上記した所定の条件としては、カメラ２はカメラ１に対して０〜１フレームの時間差の範囲内で遅れて撮像を開始するという内容であるとする。

図７は画像データ処理装置１０Ａにおける画像データ合成処理を説明するタイムチャートである。この図７は遅延時間設定部１１２に対し、遅延時間として０．３フレームが設定された場合を示している。図７（Ａ），（Ｂ）はカメラ１，２で撮像された画像データの入力タイミングを示す図であり、これは図６（Ａ），（Ｂ）と同じものである。
カメラ１，２で撮像された図７（Ａ），（Ｂ）に示すような画像データは、画像データ記録装置１３にたとえば図８に示すように記録される。

図８は画像データ記録装置１３上における画像データの記録状態の一例を示す図である。図８に示すように、記憶領域の先頭から撮像順（この場合、カメラ１、カメラ２の順）にそれぞれのフレーム画像が、カメラ１のフレーム画像Ｆ１、カメラ２のフレーム画像Ｆ１’、カメラ１のフレーム画像Ｆ２、カメラ１のフレーム画像Ｆ３、・・・というように記録されて行く。なお、画像データ記録装置１３がカメラ１，２に対応して備えられている場合には、カメラ１，２に対応する各画像データ記録装置に対して、当該カメラから入力した画像データの各フレーム画像がそれぞれ撮像順に記録されて行く。

そして、画像データ記録装置１３に記録されたカメラ１，２から入力した画像データを用いて合成画像データ生成部１２３が画像データ合成処理を行う。この画像データ合成処理は、カメラ２のフレームレートがカメラ１に対して１／３であるので、図７（Ｃ）に示すように、カメラ１のフレーム画像Ｆ１，Ｆ２，・・・における３つのフレーム画像に１つの割合、すなわち、３つのフレーム画像ごとにカメラ２のフレーム画像を挿入するような合成処理がなされる。ただし、合成処理後のカメラ１，２の各フレーム画像の時間長を設定することができないので、図７（Ｄ）に示すように、単純に６０ｆｐｓの画像データとして合成する。

この図７（Ｄ）に示すように、この場合、合成画像データの各フレーム画像ごとの時間長は考慮されず、単に等間隔（３０ｆｐｓのフレームレートを基準に考えれば、０．５フレーム間隔）に各フレーム画像が並ぶ。ただし、カメラ１の元の画像データのフレーム画像Ｆ１．Ｆ２．Ｆ３，・・・における３つのフレーム画像ごとにカメラ２のフレーム画像が挿入された画像データとなる。

なお、図７（Ｄ）に示す例では、フレーム画像Ｆ１、フレーム画像Ｆ１’、フレーム画像Ｆ２、フレーム画像Ｆ２、フレーム画像Ｆ３、フレーム画像Ｆ３、フレーム画像Ｆ４、フレーム画像Ｆ２’、・・・というように、カメラ１のフレーム画像Ｆ２とＦ３がそれぞれ２回連続しているが、これは、カメラ１のフレーム画像Ｆ２，Ｆ３とカメラ２のフレーム画像Ｆ１’との時間的な位置関係によるものである。この図７（Ｄ）に示すような合成画像データとすることによって、より自然な動きの画像データとすることができる。

すなわち、図７（Ａ），（Ｂ）からも明らかなように、カメラ２のフレーム画像Ｆ１’は、カメラ１のフレーム画像Ｆ２，Ｆ３よりも時間的に早く撮像された画像データである。したがって、仮に、カメラ２のフレーム画像Ｆ１’をカメラ１のフレーム画像Ｆ２とフレーム画像Ｆ３との間などに挿入すると、それによって得られる合成画像データは、動画の動きに不自然さが生じる画像データとなる場合も有り得るからである。

なお、図７（Ｄ）の画像データは、前述したように、ネットワーク、プロジェクタなどの画像表示装置またはハードディスクなどの記録媒体などに出力可能である。たとえば、プロジェクタなどの画像表示装置に出力された場合には、該画像表示装置で６０ｆｐｓのフレームレートの画像として表示される。

図９は画像データ合成処理をより詳細に説明するフローチャートである。図９におけるｎはインデクスを表している。この実施形態のように、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１０ｆｐｓとした場合には、前述したように、カメラ１の３つのフレーム画像ごとにカメラ２のフレーム画像を挿入する動作を行なう。したがって、この場合、ｎ＝３となるタイミングでカメラ２で撮像された画像データをカメラ１で撮像された画像データに挿入するという動作を行う。また、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１５ｆｐｓである場合には、ｎ＝２となるタイミングでフレームレートの低いカメラ２で撮像された画像データをフレームレートの高いカメラ１で撮像された画像データに挿入するという動作を行う。

図９において、まず、インデクスｎがｎ＝３に設定される（ステップＳ２１）。そして、カメラ１で撮像された画像データの有無を判定し（ステップＳ２２）、入力部１２１が画像データ記録装置１３からカメラ１で撮像された画像データを受け取る（ステップＳ２３）。

ここで、ｎ＝３か否かを判定し（ステップＳ２４）、この場合、ｎ＝３であるので、カメラ２で撮像された画像データの有無を判定し（ステップＳ２５）、カメラ２で撮像された画像データがあれば、入力部１２１がカメラ２で撮像された画像データを画像データ記録装置１３から受け取る（ステップＳ２６）。

そして、ｎ＝０とする（ステップＳ２７）。続いて、合成画像データ生成部１２３は、カメラ１で撮像された画像データとカメラ２で撮像された画像データとを時間的に連続するように合成し（ステップＳ２８）、合成画像データを出力する（ステップＳ２９）。このステップＳ２８の処理は、たとえば、図７（Ｄ）におけるフレーム画像Ｆ１の後にフレーム画像Ｆ１’が挿入される処理に対応する。

続いて、ｎを＋１して（ステップＳ３０）、ステップＳ２２に戻り、ステップＳ２２，Ｓ２３，Ｓ２４を行なうが、このとき、ｎ＝１であるので、ステップＳ２４におけるｎ＝３か否かの判定の結果、ｎ＝３ではないので、ステップＳ３１の処理を行う。すなわち、合成画像データ生成部１２３は、カメラ１で撮像された画像データを複製し、カメラ１で撮像された画像データが時間的に２回連続するように合成し（ステップＳ３１）、合成画像データを出力する（ステップＳ２９）。このステップＳ３１の処理は、たとえば、図７（Ｄ）におけるフレーム画像Ｆ２を２回連続させる処理に対応する。

続いて、ｎを＋１して（ステップＳ３０）、ステップＳ２２に戻り、ステップＳ２２，Ｓ２３，Ｓ２４を行なうが、このとき、ｎ＝２であるので、ステップＳ２４におけるｎ＝３か否かの判定の結果、ｎ＝３ではないので、今回もステップＳ３１の処理を行う。この場合、ステップＳ３１の処理は、たとえば、図７（Ｄ）におけるフレーム画像Ｆ３を２回連続させる処理に対応する。

続いて、ｎを＋１して（ステップＳ３０）、ステップＳ２２に戻り、ステップＳ２２，Ｓ２３，Ｓ２４を行なうが、このとき、ｎ＝３であるので、ステップＳ２４におけるｎ＝３か否かの判定の結果、今回はステップＳ２５の処理を行う。このステップＳ２５において、カメラ２で撮像された画像データがなければ、処理を終了するが、カメラ２で撮像された画像データがあれば、ステップＳ２６の処理に移る。このステップＳ２６以降の処理については前述したので、ここでは、説明を省略するが、このステップ２６以降の処理のうち、ステップＳ２８による処理は、たとえば、図７（Ｄ）におけるフレーム画像Ｆ４の後にフレーム画像Ｆ２’を挿入する処理に対応する。
以上のような動作を繰り返すことによって、図７（Ｄ）に示すような合成画像データが生成される。

以上説明したように実施形態１では、動画の撮像が可能な汎用のカメラを複数台（実施形態１では２台としている）用いることにより、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを生成することができる。すなわち、実施形態１によって生成された合成画像データは、動きの滑らかな動画の再現が可能な画像データとなる。また、カメラ１，２のフレームレートが異なる場合でも、カメラ１，２から入力した各画像データを時間的に連続させた合成画像データとすることができる。

なお、この合成画像データは、図７（Ｄ）に示すように、各フレーム画像の時間長が等しいので、このような合成画像データを、たとえば、プロジェクタなどの画像表示装置で表示する際、画像表示装置が本発明の画像データ処理装置に対応した画像表示装置（以下では対応表示装置という）であっても、また、本発明の画像データ処理装置に対応しない画像表示装置（以下では非対応表示装置という）であっても、各フレーム画像の時間長に対応した表示が可能となる。

また、このように、２台のカメラを用い、一方のカメラからフレーム画像Ｆ１，Ｆ２，・・・、もう一方のカメラから時間差を有したフレーム画像Ｆ１’，Ｆ２’，・・・を出力することによる効果として、画像表示装置側でいわゆる「２度書き」を行なうような場合に有利になることも挙げられる。

なお、実施形態１（以降に示す他の実施形態も同様）を実現するためには、カメラ１，２から入力した各画像データの位置ずれ補正、色補正、輝度補正などを行なうようにすることが望ましい。

カメラ１，２から入力した各画像データの位置ずれ補正は、カメラ１の画像データを基準画像データとして、カメラ２の画像データの位置ずれ補正を行うことが可能である。これは、たとえば、カメラ１の画像データの特定領域をカメラ２の画像データの中からブロックマッチングなどにより探し、カメラ１の画像データに対するカメラ２の画像データずれ量を検出し、そのずれ量からカメラ２の全体の画像データをカメラ１の画像データに合わせるといった処理である。

また、カメラ１，２から入力した各画像データの色補正は、カメラ１の画像データと上記した位置ずれ補正後のカメラ２の画像データとの間で対応する各画素の基準となる色成分（赤Ｒ・緑Ｇ・青Ｂなど）それぞれについて両者の画素値の平均値を求める。そして、求められた平均値となるように、カメラ１の画像データ及びカメラ２の画像データそれぞれに対して画素値の調整を行なう。

また、カメラ１，２から入力した各画像データの輝度補正は、上記した色補正と同様、カメラ１の画像データと上記した位置ずれ補正後のカメラ２の画像データとの間で対応する各画素の輝度値について両者の平均値を求める。そして、求められた平均値となるように、カメラ１の画像データ及びカメラ２の画像データそれぞれに対して輝度値を調整する。

これらの各補正を行なうタイミングは、カメラ１，２による撮像開始前、画像データ合成処理部１２の合成画像データ生成部１２３による画像データの合成処理中、カメラ１，２による撮像終了後などが考えられる。

たとえば、カメラ１，２による撮像開始前に行なう場合は、撮像開始前に、各カメラ１，２でテストパターンなどを用いて撮像を試みる。ここで、撮像された画像データに基づいて補正を行なう。このときの補正パラメータを保存しておき、画像データ合成時に適用する。

また、画像データ合成処理中に行う場合は、各カメラ１，２の画像データを合成画像データ生成部１２３において合成する際に、逐次、実行する。これは前もって補正パラメータを決めておくよりも撮像時における環境の変化（明るさの変化など）を忠実に反映させることができる。

また、撮像終了後に行なう場合は、この実施形態１を含む蓄積型に特に有効である。つまり、最終的な画像データの出力までに時間的な余裕がある場合、さらに精度よく補正を行うことができる。
なお、カメラ１，２から入力した各画像データの位置ずれ補正、色補正、輝度補正などの各種の補正は、必ずしもこれをすべて行なう必要はなく、必要に応じて行なえばよい。

[実施形態２]
前述した実施形態１は、初回の撮像においては、カメラ２はカメラ１に対しユーザの設定した遅延時間に対応する時間差で撮像を遅らせるようにしたが、カメラ１，２の撮像タイミングはユーザが設定することなく初回から任意とすることも可能である。

実施形態２は実施形態１において、カメラ１，２の撮像タイミングは初回から任意とした場合である。この場合、カメラ１，２の撮像タイミングは、両者が同じタイミングあってもよく、カメラ１がカメラ２よりも早くてもよい。また、逆にカメラ２がカメラ１よりも早くてもよいが、この実施形態２では、実施形態１で説明した所定の条件、すなわち、カメラ２はカメラ１に対して０〜１フレームの時間差の範囲内の任意のタイミングで遅れて撮像を開始するものとする。

実施形態２に係る画像データ処理装置の構成は、実施形態１に係る画像データ処理装置１０Ａをそのまま用いることができるので、実施形態２に係る画像データ処理装置としての図示は省略する。なお、説明の都合上、実施形態２に係る画像データ処理装置に１０Ｂの符号を付して画像データ処理装置１０Ｂとして説明する。また、この画像データ処理装置１０Ｂを構成する撮像手段制御部１１及び画像データ合成処理部１２も実施形態１で説明したものを用いることができるので、これらの図示も省略する。

図１０は実施形態２に係る画像データ処理装置１０Ｂの画像データ処理手順を説明するフローチャートである。この画像データ処理装置１０Ｂの処理開始に先立って、まず、ユーザによって撮像開始コマンドの入力がなされる。そして、撮像手段制御部１１が撮像開始コマンドを各カメラ１，２に送る（ステップＳ４１）。これにより、カメラ１は撮像を開始し(ステップＳ４２)、撮像された画像データを画像データ記録装置１３に送る（ステップＳ４３）。

一方、カメラ２も所定のタイミングで撮像を開始(ステップＳ４４)、撮像された画像データを画像データ記録装置１３に送る（ステップＳ４３）。なお、カメラ２の撮像開始のタイミングは前述した所定の条件に基づいて行なわれる。

図１０におけるステップＳ４５、Ｓ４６，Ｓ４７，Ｓ４８の処理は、図４のステップＳ７，Ｓ８，Ｓ９，Ｓ１０の処理と同じであるので、説明は省略する。

この実施形態２によれば、実施形態１と同様の効果が得られるとともに、実施形態２の場合、撮像開始時にユーザがカメラ１に対するカメラ２の撮像タイミングの設定を行わなくても各カメラが任意のタイミングで撮像を行なうことができる。

[実施形態３]
実施形態３に係る画像データ処理装置は、コンテンツの内容に応じて、遅延時間の設定し、設定された遅延時間に基づいた中間画像データを生成して、該中間画像データを用いて合成画像データの生成を行うものである。なお、この実施形態３は実施形態１及び実施形態２のいずれにも適用可能であることは勿論であるが、ここでは、実施形態１に適用した例について説明する。また、この実施形態３においても実施形態１及び実施形態２と同様、撮像手段として２台のカメラ１，２を用いた場合について説明する。

実施形態３に係る画像データ処理装置の構成は、図１に示す画像データ処理装置１０Ａと同じあるので、実施形態３に係る画像データ処理装置としての図示は省略する。なお、説明の都合上、実施形態３に係る画像データ処理装置に１０Ｃの符号を付して画像データ処理装置１０Ｃとして説明する。

図１１は画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２の構成を示す図である。図１１の画像データ合成処理部１２が実施形態１の説明で用いた図３と異なるのは、コンテンツ解析部１２５を有している点である。

すなわち、この画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２は、コンテンツ解析部１２５が画像データ記録装置１３に記録されているカメラ１，２の画像データ間のコンテンツ解析を行い、該コンテンツ解析結果に基づいた遅延時間（この遅延時間については後述する）を設定する機能、該設定された遅延時間に基づいて中間画像データを生成し、該生成された中間画像データと前記複数の撮像手段のある撮像手段（実施形態３ではカメラ１）から入力した画像データとを時間的に連続するように合成して合成画像データを生成する機能を有する画像データ合成処理部１２とを有している。
また、実施形態３に係る画像データ処理装置１０Ｃに用いられる撮像手段制御部１１は図２で示したものを用いることができるので図示は省略する。

図１２は画像データ処理装置１０Ｃにおける画像データ処理手順を説明するフローチャートである。図１２に示すフローチャートにおいて、ステップＳ５１〜ステップＳ５７は、図４のフローチャートのステップＳ１〜Ｓ７と同じ処理であるので、ここでは、ステップＳ５７の撮像終了コマンドの有無の判定において、撮像終了コマンドが有りと判定されたあとの処理手順について説明する。

ステップＳ５７において、撮像終了コマンドが有りと判定されると、コンテンツ解析部１２５が画像データ記録装置１３に記録されたカメラ１，２の画像データを受け取り、コンテンツ解析を行う（ステップＳ５８）。合成画像データ生成部１２３では、コンテンツ解析結果に基づき、中間画像データを生成し、生成された中間画像データをカメラ１の画像データと合成し（ステップＳ５９）、その合成画像データを出力する（ステップＳ６０）。

図１３はコンテンツ解析を行う際のカメラ１，２の各フレーム画像の対応関係を説明する図である。この図１３におけるカメラ１，２の各フレーム画像の入力タイミングは、実施形態１の説明で用いた図７（Ａ），（Ｂ）と同じ入力タイミングの例が示されている。

図１３（Ａ）〜（Ｄ）に示すように、まず、カメラ１のフレーム画像Ｆ１とカメラ２のフレーム画像Ｆ１’とのコンテンツ解析を行い、続いて、カメラ１のフレーム画像Ｆ２とカメラ２のフレーム画像Ｆ１’とのコンテンツ解析を行い、続いて、カメラ１のフレーム画像Ｆ３とカメラ２のフレーム画像Ｆ１’とのコンテンツ解析を行い、続いて、カメラ１のフレーム画像Ｆ４とカメラ２のフレーム画像Ｆ２’とのコンテンツ解析を行うというような順序でコンテンツ解析を行う。

この図１３の例では、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１０ｆｐｓの例であるので、コンテンツ解析を行うフレーム画像の対応は、カメラ１の３つのフレーム画像ごとにカメラ２のフレーム画像が更新されることになる。なお、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１５ｆｐｓである場合には、コンテンツ解析を行うフレーム画像の対応は、カメラ１の２つのフレーム画像ごとにカメラ２のフレーム画像が更新されることになる。

次にコンテンツ解析部１２５の動作について説明する。コンテンツ解析部１２５は、この実施形態３の場合、図１３（Ａ）〜（Ｄ）に示したように、カメラ１とカメラ２の対応するフレーム画像間のコンテンツ解析を行い、その解析結果から画面全体の動きの変化及び／又は画面全体の明るさの変化を検出（実施形態３では画面全体の動きの変化及び画面全体の明るさ変化の両方を検出するものとする）する機能と、その検出結果に応じた遅延時間（フレーム数）を設定する機能と、設定された遅延時間（フレーム数）を合成画像データ生成部１２３に送る機能とを有している。

なお、動きの変化及び明るさの変化の検出のうち、動きの変化の検出を行った結果、動きの変化が大きい場合は遅延時間を短くし、動きの変化が小さい場合は遅延時間を大きくする。これは、動きの激しい場面で遅延時間を大きく設定すると、動画の視認性が悪くなり、残像感がより大きくなるからである。逆に、動きの緩やかな場面では、遅延時間を大きくとっても動画の視認性に大きな影響を与えないからである。

一方、動きの変化及び明るさの変化の検出のうち、明るさの変化の検出を行った結果、明るさの変化が大きい場合は遅延時間を短くし、明るさの変化が小さい場合は遅延時間を大きくする。これは、明るさの変化が大きい場合は、場面が変化する可能性が高く、このような場面で遅延時間を大きく設定すると、動画の視認性が悪くなり、残像感がより大きくなるからである。逆に、明るさの変化が小さい場合は、場面の変化は小さい場合が多く、この場合は、遅延時間を大きくとっても動画の視認性に大きな影響を与えないからである。

ここで、動きの変化の検出（動き検出という）について説明する。動き検出は、種々の方法によって行うことが可能であるが、ここでは、一般的なブロックマッチング法を用いて、フレーム画像間の動きベクトルを求める例について説明する。

図１４は動き検出において用いられるブロックマッチング法について説明する図である。ブロックマッチング法は、ブロック単位で動きを検出する方法であり、現在、注目しているフレーム画像を含む複数のフレーム画像を利用する。この実施形態３では、現在、注目しているフレーム画像（ｔフレームとする）とその直前のフレーム画像（ｔ−１フレームとする）を利用する。たとえば、図１３（Ａ）の例においては、ｔフレームは、カメラ２のフレーム画像Ｆ１’に相当し、ｔ−１フレームは、カメラ１のフレーム画像Ｆ１に相当する。

図１４に示すように、ｔフレームにおけるブロックＡ１（Ｌ×Ｌのブロックサイズであるとする）をｔ−１フレームで動かして、ｔフレームのブロックＡ１と最もデータ値の近いブロックをｔ−１フレーム内で探索し、その場所と元の場所（破線で示す位置）とのずれ幅を動きベクトルとする。すなわち、以下の式において、Ｄが最小となるときの（ｉ、ｊ）を動きベクトルとする。

（１）式において、ＬはブロックＡ１のサイズ、ｘ，ｙはブロックＡ１のｘ軸方向及びｙ軸方向における移動方向、ｉ，ｊはブロックＡ１の移動量、ｔはフレームを表す。動きベクトルを求める最も簡単な方法は、（ｉ，ｊ）のすべての組み合わせについて（１）式を計算し、Ｄが最小となる（ｉ，ｊ）の組み合わせを求めるという方法である。

このようにして、ｔフレームにおいて、ブロックごとに動きベクトルを求め、求められたブロックごとの動きベクトルから画面全体の動き量を以下の式で計算する。すなわち、動きベクトルをＶとし、ｎ個の動きベクトルが得られたとすると、画面全体の動き量Ｍは、

と表すことができる。この（２）式によって得られた値がｔフレームにおける画面全体の動き量となる。

なお、動き量の計算は、上記のように、各フレーム画像の画面全体について行うようにしてもよいが、計算処理を削減するために、画面中央の領域だけに対して行うようにしてもよい。これは、多くの場合、視聴者が注目するのは画面中央であることによるものである。

以上のようにして、ｔフレームの動き量（ｔ−１フレームに対してどの程度動いたかを示す量）が検出されると、検出された動き量に応じた遅延時間の設定を行う。以下に、動き量に応じた遅延時間設定について説明する。

図１５は動き量に対する遅延時間の設定例を示す図である。なお、この場合、動き量は、０〜２２０の範囲の値に正規化されるものとする。図１５に示すように、動き量が０である場合は、遅延時間としてのフレーム数は１（１フレーム）とし、動き量が２２０である場合は、遅延時間としてのフレーム数は０（０フレーム）とする。また、動き量が中間値の１１０である場合は、遅延時間としてのフレーム数は０．５（０．５フレーム）とする。このように、動き量に応じた遅延時間（フレーム数）を予め設定しておくことができる。

そして、このようにして求められる動き量に対する遅延時間は、動き量から遅延時間の取得が可能なテーブルとして用意しておくことが可能である。
図１６は動き量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図である。図１６に示すように、たとえば、動き量が「０〜２０」の範囲における遅延時間は「１フレーム」、動き量が「２１〜４０」の範囲における遅延時間は「０．９フレーム」、動き量が「２０１〜２２０」の範囲における遅延時間は「０フレーム」というような内容となっており、このようなテーブルを作成しておくことによって、動き量が求められれば容易に動き量に対する遅延時間を設定することができる。

以上、動き検出を行うことによって求められた動き量に応じた遅延時間を設定する例について説明したが、次に、明るさの変化の検出結果に応じた遅延時間を設定する例について説明する。なお、明るさの変化の検出というのは、ここでは輝度差を検出することであるとする。

まず、各フレーム画像に対し、個々のフレーム画像の画素の輝度値を取得する。そして、取得した輝度値の平均値を求め、求められた輝度値の平均値を当該フレーム画像の全体の明るさであるとする。このようにして、各フレーム画像において、輝度値の平均値が求められると、フレーム画像間の輝度値の平均値の差を明るさ変化量とし、その明るさの変化量に基づいて遅延時間としてのフレーム数を設定する。

図１７は明るさの変化量に対する遅延時間の設定例を示す図である。なお、この場合、明るさ変化量は、０〜２２０の範囲の値に正規化されるものとする。図１７に示すように、明るさ変化量が０である場合は、遅延時間としてのフレーム数は１（１フレーム）であり、明るさ変化量が２２０である場合は、遅延時間としてのフレーム数は０（０フレーム）である。また、明るさ変化量が中間値の１１０である場合は、遅延時間としてのフレーム数は０．５（０．５フレーム）と設定される。このように、明るさ変化量に応じた遅延時間としてのフレーム数を予め設定しておくことができる。

そして、このようにして求められる明るさ変化量に対する遅延時間は、動き量と同様、明るさ変化量から遅延時間の取得が可能なテーブルとして用意しておくことが可能である。
図１８は明るさ変化量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図である。図１８に示すように、たとえば、明るさ変化量が「０〜２０」の範囲における遅延時間は「１フレーム」、明るさ変化量が「２１〜４０」の範囲における遅延時間は「０．９フレーム」、明るさ変化量が「２０１〜２２０」の範囲における遅延時間は「０フレーム」というような内容となっており、このようなテーブルを作成しておくことによって、明るさ変化量が求められれば容易に明るさ変化量に対する遅延時間を設定することができる。

以上のようにして、動き量に応じた遅延時間の設定と明るさ変化量に応じた遅延時間の設定を行うことができる。動き量に応じた遅延時間と明るさ変化量に応じた遅延時間のいずれか一方のみを用いることも可能であるが、本発明の各実施形態では、動き量と明るさ変化量の両方に基づいた遅延時間の設定を行うものとする。この動き量と明るさ変化量の両方に基づいて設定された遅延時間を、「動き量及び明るさ変化量を考慮した遅延時間」と呼ぶことにする。

この動き量及び明るさ変化量を考慮した遅延時間は、動き量に応じた遅延時間（フレーム数）と明るさ変化量に応じた遅延時間（フレーム数）との平均値とする。たとえば、動き量に応じた遅延時間（フレーム数）が０．３フレームであって、明るさ変化量に応じた遅延時間（フレーム数）が０．７フレームであったとすると、両者の平均を求め、０．５フレームを動き量及び明るさ変化量を考慮した遅延時間として設定する。

なお、動き量に応じた遅延時間（フレーム数）と明るさ変化量に応じた遅延時間（フレーム数）との平均値が、設定可能精度以下の値となった場合には、四捨五入、切り捨て、切り上げのいずれかを行う。

一例として、この実施形態１のように、設定可能精度が小数点１位（０．１フレーム単位）までである場合には、たとえば、「求められた平均値が小数点２位以下の値となった場合には四捨五入する」というように決めておくことができる。これにより、平均値が０．５２というように小数点２位以下の値として求められた場合は、遅延時間は０．５フレームとなる。

図１９は動き量及び明るさ変化量を考慮して設定された遅延時間（フレーム数）と、該遅延時間に基づいて生成される中間画像データの一例を示す図である。図１９に示すように、たとえば、コンテンツ解析を行ったフレーム画像がカメラ１のフレーム画像Ｆ１とカメラ２のフレーム画像Ｆ１’である場合、フレーム画像Ｆ１とフレーム画像Ｆ１’間において求められた遅延時間（動き量及び明るさ変化量を考慮した遅延時間）は０．３フレームであり、それによって生成される中間画像データは、１．３フレームであることを示している。

なお、図１９における１．３フレーム、２．５フレーム、３．４フレーム、・・・の中間画像データは、カメラ１の各フレーム画像Ｆ１，Ｆ２，Ｆ３，・・・のフレーム番号に、コンテンツ解析によって求められた遅延時間を足した値（フレーム番号＋遅延時間）で表したものである。たとえば、カメラ１のフレーム画像Ｆ１とカメラ２のフレーム画像Ｆ１’との間で求められた遅延時間が０．３フレームである場合には、１＋０．３＝１．３となり、これによって、１．３フレームの中間画像データが生成されることになる。

図２０は画像データ処理装置１０Ｃにおける画像データ合成処理を説明するタイムチャートである。図２０（Ａ），（Ｂ）は、カメラ１，２で撮像された画像データの入力タイミングを示す図であり、これは、実施形態１の説明で用いた図７（Ａ），（Ｂ）と同じものである。

この図２０（Ａ），（Ｂ）に示すカメラ１，２から入力した画像データをコンテンツ解析した結果、図１９に示したような中間画像データが求められたとする。この中間画像データとカメラ１から入力した画像データとを合成すると、図２０（Ｃ）に示すような合成画像データが生成される。

なお、カメラ１のそれぞれのフレーム画像の撮像タイミングは必ずしも等間隔ではないが、合成する際には、カメラ１の撮像タイミングは等間隔であるとして合成を行う。また、合成の際のフレームレートは、カメラ１のフレームレート（この例では、３０ｆｐｓ）を基準とする。また、この場合、見かけ上、６０ｆｐｓのフレームレートとなるように、図２０（Ｃ）のデータフォーマットにおいて、合成画像データの各フレームの時間長を調整する。

また、図２０（Ｃ）に示す合成画像データにおいて、中間画像デ−タ２．３フレームがカメラ１の２フレーム目のフレーム画像Ｆ２よりも時間的に早い位置に挿入されている。また、同様に、中間画像デ−タ３．５フレームがカメラ１の３フレーム目のフレーム画像Ｆ３よりも時間的に早い位置に挿入されている。このように、中間画像デ−タ２．３フレームとカメラ１の２フレーム目のフレーム画像Ｆ２、中間画像デ−タ３．５フレームとカメラ１の３フレーム目のフレーム画像Ｆ３は、それぞれフレームの順番が逆転しているかのように見える。

これは、コンテンツ解析及び中間画像データの生成に用いたカメラ１のフレーム画像とカメラ２のフレーム画像の時間的な位置関係によるものである。たとえば、コンテンツ解析及び中間画像データの生成に用いたカメラ１のフレーム画像Ｆ２とカメラ２のフレーム画像Ｆ１’を時間的な位置で比べると、フレーム画像Ｆ１’の方がフレーム画像Ｆ２よりも時間的に早い画像データである。同様に、コンテンツ解析及び中間画像データの生成に用いたカメラ１のフレーム画像Ｆ３とカメラ２のフレーム画像Ｆ１’を時間的な位置で比べると、フレーム画像Ｆ１’の方がフレーム画像Ｆ３よりも時間的に早い画像データである。

なお、カメラ１，２は互いに任意のタイミング（非同期）で撮像を行なっているため、両者の正確な時間的な関係、すなわち、それぞれのフレーム画像においてどちらのカメラが早く撮像したのか否かは特定できないが、ここでは、カメラ２がカメラ１よりも前述した所定の条件のもとで遅れて撮像するとしている。

したがって、カメラ１の各フレーム画像とカメラ２の各フレーム画像の時間的な位置関係は、カメラ１のフレーム画像Ｆ１はカメラ２のフレーム画像Ｆ１’より時間的に早いので、カメラ１のフレーム画像Ｆ１とカメラ２のフレーム画像Ｆ１’とによって生成された中間画像データ１．３フレームは、カメラ１のフレーム画像Ｆ１よりも時間的に遅い位置に挿入される。

また、カメラ１のフレーム画像Ｆ２はカメラ２のフレーム画像Ｆ１’より時間的に遅いので、カメラ１のフレーム画像Ｆ２とカメラ２のフレーム画像Ｆ１’とによって生成された中間画像データ２．３フレームは、カメラ１のフレーム画像Ｆ２よりも時間的に早い位置に挿入される。

同様に、カメラ１のフレーム画像Ｆ３はカメラ２のフレーム画像Ｆ１’より時間的に遅いので、カメラ１のフレーム画像Ｆ３とカメラ２のフレーム画像Ｆ１’とによって生成された中間画像データ３．５フレームは、カメラ１のフレーム画像Ｆ３よりも時間的に早い位置に挿入される。

図２１は画像データ合成処理部１２のコンテンツ解析部１２５が行うコンテンツ解析処理及び合成画像データ生成部１２３が行う画像データ合成処理を説明するフローチャートである。
図２１において、まず、インデクスｎを所定の値（この場合、ｎ＝３）に設定する（ステップＳ６１）。このインデクスｎは、図９のフローチャートで説明したものと同じものであり、本発明の各実施形態では、カメラ１のフレームレートが３０ｆｐｓ、カメラ２のフレームレートが１０ｆｐｓとしているので、ステップＳ６１では、ｎ＝３と設定される。

まず、ステップＳ６１においてｎ＝３と設定されたあと、カメラ１で撮像された画像データの有無を判定し（ステップＳ６２）、入力部１２１が画像データ記録装置１３からカメラ１で撮像された画像データを受け取る（ステップＳ６３）。

ここで、ｎ＝３か否かを判定し（ステップＳ６４）、このとき、ｎ＝３であるので、カメラ２で撮像された画像データの有無を判定し（ステップＳ６５）、カメラ２で撮像された画像データがあれば入力部がカメラ２で撮像された画画像データを受け取る（ステップＳ６６）。

そして、ｎ＝０とし（ステップＳ６７）、コンテンツ解析部１２５がカメラ１で撮像された画像データとカメラ２で撮像された画像データとの間でコンテンツ解析を行う（ステップＳ６８）。続いて、合成画像データ生成部１２３は、コンテンツ解析結果に基づき、中間画像データを生成し、該中間画像データとカメラ１で撮像された画像データとを時間的に連続するように合成し（ステップＳ６９）、合成画像データを出力する（ステップＳ７０）。このステップＳ６９の処理は、図２０（Ｃ）におけるフレーム画像Ｆ１の後に中間画像データ１．３フレームを挿入する処理に対応する。

続いて、ｎを＋１して（ステップＳ７１）、ステップＳ６２に戻り、ステップＳ６２，Ｓ６３，Ｓ６４を行なうが、このとき、ｎ＝１であるので、ステップＳ６４におけるｎ＝３か否かの判定の結果、ｎ＝３ではないので、ステップＳ６８の処理を行う。

すなわち、この場合、コンテンツ解析部１２５は、カメラ１で撮像された画像データ（フレーム画像Ｆ２）とカメラ２で撮像された画像データ（フレーム画像Ｆ１’）との間でコンテンツ解析を行い、該コンテンツ解析結果を用いて合成画像データ生成部１２３が中間画像データを生成し、該中間画像データとカメラ１で撮像された画像データとを時間的に連続するように合成し、合成画像データを出力する（ステップＳ６８，Ｓ６９，Ｓ７０）。この場合のステップＳ６９の処理は、図２０（Ｃ）におけるフレーム画像Ｆ２の前に中間画像データ２．３フレームを挿入する処理に対応する。

続いて、ｎを＋１して（ステップＳ７１）、ステップＳ６２に戻り、ステップＳ６２，Ｓ６３，Ｓ６４を行なうが、このとき、ｎ＝２であるので、ステップＳ６４におけるｎ＝３か否かの判定の結果、ｎ＝３ではないので、ステップＳ６８の処理を行う。この場合、コンテンツ解析部１２５は、カメラ１で撮像された画像データ（フレーム画像Ｆ３）とカメラ２で撮像された（フレーム画像Ｆ１’）との間でコンテンツ解析を行う。そして、該コンテンツ解析結果を用いて合成画像データ生成部１２３が中間画像データを生成し、該中間画像データとカメラ１で撮像された画像データとを時間的に連続するように合成し、合成画像データを出力する（ステップＳ６８，Ｓ６９，Ｓ７０）。この場合のステップＳ６９の処理は、図２０（Ｃ）におけるフレーム画像Ｆ３の前に中間画像データ３．５フレームを挿入する処理に対応する。

続いて、ｎを＋１して（ステップＳ７１）、ステップＳ６２に戻り、ステップＳ６２，Ｓ６３，Ｓ６４を行なうが、このとき、ｎ＝３であるので、ステップＳ６５の処理を行う。すなわち、カメラ２で撮像された画像データの有無を判定し（ステップＳ６５）、カメラ２で撮像された画像データがなければ処理を終了するが、カメラ２で撮像された画像データがあれば入力部がカメラ２で撮像された画像データを受け取る（ステップＳ６６）。

そして、ｎ＝０とし（ステップＳ６７）、コンテンツ解析部１２５がカメラ１で撮像された画像データ（この場合、フレーム画像Ｆ４）とカメラ２で撮像された画像データ（この場合、フレーム画像Ｆ２’）との間でコンテンツ解析を行う（ステップＳ６８）。続いて、合成画像データ生成部１２３は、コンテンツ解析結果に基づき、中間画像データを生成し、該中間画像データとカメラ１で撮像された画像データとを時間的に連続するように合成し（ステップＳ６９）、該合成画像データを出力する（ステップＳ７０）。このステップＳ６９の処理は、図２０（Ｃ）におけるフレーム画像Ｆ４の後に中間画像データ４．２フレームを挿入する処理に対応する。
以上のような動作を繰り返すことによって、合成画像データ生成部１２３からは、たとえば、図２０（Ｃ）に示すような合成画像データが出力される。

ところで、図２０で示したような合成画像データは、各フレーム画像の時間長が均等でない画像データ、つまり、各フレーム画像の時間的な間隔が非等間隔な画像データとなる。
この図２０（Ｃ）の合成画像データは、見かけ上は６０ｆｐｓのフレームレートであるが、各フレーム画像の時間長が等しくない画像データであるので、一般的な画像データのフォーマットではない。

この図２０（Ｃ）に示すような合成画像データを、たとえば、プロジェクタなどの画像表示装置で表示する際、画像表示装置が対応表示装置であれば、図２０（Ｃ）に示すフレーム画像の時間長に対応した表示が可能となる。しかし、画像表示装置が非対応表示装置である場合は、通常の６０ｆｐｓの画像データとしての表示を行なう。

図２２は合成画像データ生成部１２３から出力される合成画像データのデータフォーマットの一例を示す図である。図２２に示すように、合成画像データは、大きく分けると、他のフォーマットの画像データと区別するための識別子、データサイズなどが書き込まれるヘッダ領域、実際の画像データが書き込まれる画像データ書き込み領域を有している。

ヘッダ領域には、全フレーム数、各フレーム画像の時間長、画面サイズ（幅及び高さ）などが書き込まれる。また、画像データ書き込み領域には、合成画像データとして各フレーム画像に対する画像データが書き込まれる。

なお、このデータフォーマットを受け取る画像表示装置が本発明の対応表示装置である場合には、図２２のデータフォーマットに基づいてデータ表示を行なうことができるが、非対応表示装置である場合には、図２２のデータフォーマットでは読み込むことができない。

そこで、画像データ書き込み領域に書き込まれる合成画像データについては一般的に用いられるＡＶＩ（Audio Video Interleaving）形式のデータとし、図２２のヘッダ領域における「全フレーム数」、「各フレーム画像の時間長」などは別データとして出力することも可能である。

このように、図２２のヘッダ領域における「全フレーム数」、「各フレーム画像の時間長」などは別データとして出力することにより、対応表示装置においては、通常のＡＶＩ形式のデータと「全フレーム数」、「各フレーム画像の表示時間」などの記述されたデータの両方を読み込んで、その内容に応じた処理を行う。一方、非対応表示装置ではＡＶ１形式のデータのみを読み込んで、その内容に応じた処理を行う。これによって、対応表示装置では、図２０（Ｃ）に示すような各フレーム画像の時間長に対応した表示が可能となり、非対応表示装置では、通常の６０ｆｐｓの画像データとしての表示が可能となる。

以上説明したように実施形態３では、実施形態１と同様の効果が得られるほか、コンテンツの内容に応じて遅延時間を設定し、設定された遅延時間に基づいて中間画像データを生成し、生成された中間画像データとカメラ１で撮像された画像データとを時間的に連続するように合成して合成画像データを生成するようにしている。このように生成された合成画像データは、たとえば、動きの激しい場面や明るさの変化が大きい場面、動きの緩やかな場面や明るさの変化の小さな場面などに追従した滑らかな動画の再現が可能な画像データとすることができる。

また、各カメラで撮像された画像データ間のコンテンツ解析は、実施形態３の場合、カメラ１のフレーム画像とカメラ２のフレーム画像とを図１３（Ａ）〜（Ｄ）に示すように対応付けて行うようにしているので、カメラ１とカメラ２の撮像タイミングの違いに対応した適切な中間画像データを生成することができる。このような中間画像データを用いて生成された合成画像データは、より自然な動画の再現が可能な画像データとすることができる。
なお、前述したように、実施形態３は実施形態２においても適用可能であることは勿論である。

[実施形態４]
前述した実施形態３は、初回の撮像においては、カメラ１はカメラ２に対しユーザの設定した遅延時間に対応する時間差で撮像を遅らせるようにしたが、カメラ１，２の撮像タイミングはユーザが設定することなく初回から任意とすることも可能である。

実施形態４は実施形態３において、カメラ１，２の撮像タイミングは初回から任意とした場合である。この場合、カメラ１，２の撮像タイミングは、両者が同じタイミングあってもよく、カメラ１がカメラ２よりも早くてもよい。また、逆にカメラ２がカメラ１よりも早くてもよいが、この実施形態４では、前述した所定の条件、すなわち、カメラ２はカメラ１に対して０〜１フレームの時間差の範囲内の任意のタイミングで遅れて撮像を開始するものとする。

実施形態４に係る画像データ処理装置の構成は、実施形態３に係る画像データ処理装置をそのまま用いることができるので、実施形態４に係る画像データ処理装置としての図示は省略する。
なお、説明の都合上、実施形態４に係る画像データ処理装置に１０Ｄの符号を付して画像データ処理装置１０Ｄとして説明する。また、この画像データ処理装置１０Ｄを構成する撮像手段制御部１１及び画像データ合成処理部１２も実施形態３で説明したものを用いることができるので、これらの図示も省略する。

図２３は実施形態４に係る画像データ処理装置１０Ｄの画像データ処理手順を説明するフローチャートである。この画像データ処理装置１０Ｄの処理開始に先立って、まず、ユーザによって撮像開始コマンドの入力がなされる。そして、撮像手段制御部１１が撮像開始コマンドを各カメラ１，２に送る（ステップＳ８１）。これにより、カメラ１は撮像を開始し(ステップＳ８２)、撮像された画像データをコンテンツ解析部１２５に送る（ステップＳ８３）。

一方、カメラ２も所定のタイミングで撮像を開始(ステップＳ８４)、撮像された画像データをコンテンツ解析部１２５に送る（ステップＳ８３）。なお、カメラ２の撮像開始のタイミングは前述した所定の条件に基づいて行なわれる。
図２３におけるステップＳ８５〜Ｓ８８の処理は、図１２のステップＳ５７〜Ｓ６０の処理と同じであるので、説明は省略する。

この実施形態４によれば、実施形態３と同様の効果が得られるとともに、実施形態４の場合、撮像開始時にユーザがカメラ１に対するカメラ２の撮像タイミングの設定を行わなくても各カメラが任意のタイミングで撮像を行なうことができる。

[実施形態５]
これまで説明した実施形態１〜実施形態４に係る画像データ処理装置１０Ａ〜１０Ｄを用いることにより画像表示システムを構成することができる。実施形態５はこの画像表示システムについて説明する。なお、実施形態１〜実施形態４のいずれの画像データ処理装置１０Ａ〜１０Ｄを用いても画像表示システムを構成することは可能であることは勿論であるが、ここでは、実施形態１に係る画像データ処理装置１０Ａを用いた画像表示システムについて説明する。

図２４は実施形態５に係る画像表示システムの構成を示す図である。実施形態５に係る画像表示システムは、概略的には、図２４に示すように、撮像手段としてのカメラ１，２、画像データ処理装置１０Ａ、画像表示装置２０、ＰＣなどの情報処理装置３０を有している。

このような画像表示システムにおいて、遅延時間の設定や撮像開始・終了などのコマンド入力は情報処理装置３０上でマウスやキーボード操作などにより行うことができる。そして、画像データ処理装置１０Ａから出力される合成画像データ（たとえば、図７（Ｄ）参照）は、画像表示装置２０に送られて表示される。

なお、図７（Ｄ）に示す合成画像データは、見かけ上は６０ｆｐｓのフレームレートであり、各フレーム画像の時間長が等しい画像データである。このような合成画像データを画像表示装置２０で表示する場合、画像表示装置２０が対応表示装置であるか否かにかかわらず６０ｆｐｓの画像データとして表示することができる。

図２４に示すような画像表示システムを構築することにより、画像データ処理装置１０Ａ側では、解像度を犠牲にすることなく高フレームレートが実現でき、時間軸上において高画質な画像データを出力することができる。

図２５は図２４に示す画像表示システムの変形例を示す図である。図２５に示す画像表示システムは、画像データ処理装置１０ＡとしてＰＣなどの情報処理装置３０を用いている。したがって、情報処理装置３０には、画像データ合成処理部１２としての動作が可能なソフトウエア（画像データ合成処理プログラム）と、撮像手段制御部１１としての動作が可能なソフトウエア（撮像手段制御プログラム）が組み込まれている。なお、遅延時間や制御コマンドの入力は情報処理装置３０上でマウスやキーボード操作などにより行なうことが可能である。

この図２５に示す画像表示システムにおいても図２４の画像表示システムと同様の効果が得られる。さらに、この図２５に示すような構成とすることにより、画像表示システム全体をより簡素化することができる。なお、本発明の画像表示システムは、実施形態１に係る画像データ処理装置１０Ａだけでなく、実施形態２〜実施形態４に係る画像データ処理装置１０Ｂ，１０Ｃ，１０Ｄを用いてもよいことは勿論である。

なお、画像データ処理装置として実施形態３に係る画像データ処理装置１０Ｃを用いた場合には、画像データ処理装置１０Ｃからは、図２０（Ｃ）のようが合成画像データ、すなわち、各フレーム画像の時間長が等しくない合成画像データが出力される。このような合成画像データを画像表示装置２０で表示する場合、たとえば、画像表示装置２０が対応表示装置であれば、それぞれのフレーム画像の時間長に対応した表示が可能であるが、画像表示装置２０が非対応表示装置である場合は、通常の６０ｆｐｓの画像データとしての表示を行なう。

このように、画像データ処理装置として画像データ処理装置１０Ｃを用いた場合、コンテンツの内容に応じて設定された遅延時間に基づく中間画像データを生成し、生成された中間画像データとカメラ１から入力した画像データとを時間的に連続させるようにしているので、より動きの滑らかな動画の再現が可能な合成画像データを生成することができる。これにより、画像表示装置２０側では、高画質な画像データの表示を行うことができる。

本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、カメラ１，２の設置の仕方としては、図２６（Ａ）に示すように、カメラ１，２をそれぞれの光軸が直交するように設置して、ハーフミラー４を用いて被写体３を撮像するような設置の仕方であってもよい。また、カメラは３台以上としてもよいことは勿論であり、その場合の設置に仕方としては、たとえば、図２６（Ｂ）に示すように、複数のハーフミラー４を設けるような例が考えられる。

また、実施形態１〜実施形態４の各画像データ処理装置１０Ａ，１０Ｂ，１０Ｃ，１０Ｄは、撮像手段、撮像手段制御部１１及び画像データ合成処理部１２を含む単体装置として構成することも可能である。

図２７は画像データ処理装置を撮像手段、撮像手段制御部及び画像データ合成処理部を含む単体装置として構成した例を示す図である。図２７に示す画像データ処理装置は、実施形態１に係る画像データ処理装置１０Ａ（図１参照）に対応するものであり、２台のカメラ１，２としての機能を果たす２つのＣＣＤ５ａ，５ｂ、これら各ＣＣＤ５ａ，５ｂに対応して設けられるＣＣＤドライバ６ａ，６ｂ、レンズ７、ハーフミラー４と、図１の撮像手段制御部１１と画像データ合成処理部１２を有している。

画像データ処理装置をこの図２７に示すような構成とすることにより、全体の構成を簡素化することができる。なお、このように画像データ処理装置を単体構成とすることは、実施形態１に係る画像データ処理装置１０Ａだけでなく、実施形態２〜実施形態４に係る画像データ処理装置１０Ｂ，１０Ｃ，１０Ｄについても同様に実施可能である。

また、前述の各実施形態では、画像データを記録する画像データ記録装置１３を設けるようにしたが、各カメラから出力される画像データを入力する入力部をカメラごとに設け、これら各入力部にコンテンツ解析などを行うために必要な画像データを記憶するに必要な記憶容量を有するバッファを設けるようにすれば、画像データ記録装置１３は必ずしも別個に用意する必要はない。

また、本発明は以上説明した本発明を実現するための画像データ処理手順が記述された画像データ処理プログラムを作成し、その画像データ処理プログラムを各種の記録媒体に記録させておくこともできる。したがって、本発明は、その画像データ処理プログラムの記録された記録媒体をも含むものである。また、ネットワークからその画像データ処理プログラムを得るようにしてもよい。

実施形態１に係る画像データ処理装置１０Ａの構成を示す図。 画像データ処理装置１０Ａに用いられる撮像手段制御部１１の構成を示す図。 画像データ処理装置１０Ａに用いられる画像データ合成処理部１２の構成を示す図。 画像データ処理装置１０Ａの画像データ処理手順を説明するフローチャート。 カメラ１，２の撮像タイミングが互いに同期が取れ、かつ、同時に撮像を開始した場合のカメラ１，２から出力される画像データの出力タイミングを示すタイムチャート。 画像データ処理装置１０Ａにおけるカメラ１，２の画像データの入力タイミングを示すタイムチャート。 画像データ処理装置１０Ａにおける画像データ合成処理を説明するタイムチャート。 画像データ記録装置１３上における画像データの記録状態の一例を示す図。 画像データ合成処理をより詳細に説明するフローチャート。 実施形態２に係る画像データ処理装置１０Ｂの画像データ処理手順を説明するフローチャート。 実施形態３に係る画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２の構成を示す図。 画像データ処理装置１０Ｃにおける画像データ処理手順を説明するフローチャート。 コンテンツ解析を行う際のカメラ１，２の各フレーム画像の対応関係を説明する図。 動き検出において用いられるブロックマッチング法について説明する図。 動き量に対する遅延時間の設定例を示す図。 動き量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図。 明るさ変化量に対する遅延時間の設定例を示す図 明るさ変化量から遅延時間（フレーム数）の取得が可能なテーブルの一例を示す図。 動き量及び明るさ変化量を考慮した遅延時間（フレーム数）と、該遅延時間に基づいて生成される中間画像データの一例を示す図。 画像データ処理装置１０Ｃにおける画像データ合成処理を説明するタイムチャート。 実施形態３に係る画像データ処理装置１０Ｃに用いられる画像データ合成処理部１２のコンテンツ解析部１２５が行うコンテンツ解析処理と合成画像データ生成部１２３が行う画像データ合成処理を説明するフローチャート。 画像データ処理装置１０Ｃの合成画像データ生成部１２３から出力される合成画像データのデータフォーマットの一例を示す図。 実施形態４に係る画像データ処理装置１０Ｄの画像データ処理手順を説明するフローチャート。 実施形態５に係る画像表示システムの構成を示す図。 図２４に示す画像表示システムの変形例を示す図。 カメラ１，２の設置の仕方の例を説明する図。 画像データ処理装置を撮像手段、撮像手段制御部及び画像データ合成処理部を含む単体装置として構成した例を示す図。

符号の説明

１，２・・・カメラ、３・・・被写体、１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ・・・画像データ処理装置、１１・・・撮像手段制御部、１２・・・画像データ合成処理部、１３・・・画像データ記録装置、１１１・・・ユーザ設定情報入力部、１１２・・・遅延時間設定部、１２１・・・入力部、１２３・・・合成画像データ生成部、１２４・・・出力部、１２５・・・コンテンツ解析部

Claims (17)

1. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段と、
   前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成する手段と、
   を有することを特徴とする画像データ処理装置。
2. 請求項１に記載の画像データ処理装置において、
   前記合成画像データを生成する手段は、前記複数の撮像手段のうち最も高いフレームレートを有する撮像手段のフレームレートと該最も高いフレームレートを有する撮像手段以外の他の撮像手段のフレームレートとの比に基づいて、前記最も高いフレームレートを有する撮像手段の画像データに対する前記他の撮像手段の画像データの挿入位置を設定し、該挿入位置で各画像データにおける各フレーム画像を時間的に連続するように合成することで合成画像データを生成することを特徴とする画像データ処理装置。
3. 請求項１または２に記載の画像データ処理装置において、
   前記複数の撮像手段のうち少なくとも１つの撮像手段に対し、撮像開始時間の設定が可能な撮像手段制御手段を有することを特徴とする画像データ処理装置。
4. 請求項１〜３のいずれかに記載の画像データ処理装置において、
   前記入力した複数の画像データに対し、位置ずれ補正、色補正、輝度補正のうち少なくとも１つの補正を行う手段を有することを特徴とする画像データ処理装置。
5. 請求項１〜４のいずれかに記載の画像データ処理装置において、
   前記入力した複数の画像データを記憶する画像データ記録装置を有し、前記合成画像データを生成する手段は、前記画像データ記録装置に記録された前記複数の画像データを用いて合成画像データを生成することを特徴とする画像データ処理装置。
6. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、
   前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成するステップと、
   を有することを特徴とする画像データ処理方法。
7. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、
   前記入力した複数の画像データを時間的に連続するように合成して合成画像データを生成するステップと、
   を実行可能であることを特徴とする画像データ処理プログラム。
8. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段及び前記入力された複数の画像データを時間的に連続するように合成して合成画像データを生成する手段を有する画像データ処理装置と、
   前記画像データ処理装置から出力される合成画像データを表示する画像表示装置と、
   を有することを特徴とする画像表示システム。
9. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段と、
   前記入力した複数の画像データを用いてコンテンツ解析を行う手段と、
   前記コンテンツ解析の結果に基づいて遅延時間を設定する手段と、
   前記遅延時間に基づいて中間画像データを生成する手段と、
   前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成する手段と、
   を有することを特徴とする画像データ処理装置。
10. 請求項９に記載の画像データ処理装置において、
    前記コンテンツ解析は、前記入力した複数の画像データに基づいて画像の動きの変化及び／又は明るさの変化を検出することにより行うことを特徴とする画像データ処理装置。
11. 請求項９または１０に記載の画像データ処理装置において、
    前記コンテンツ解析を行う手段は、前記複数の撮像手段のうち最も高いフレームレートを有する撮像手段のフレームレートと前記最も高いフレームレートを有する撮像手段以外の他の撮像手段のフレームレートとの比に基づいて、前記コンテンツ解析を行う際の前記最も高いフレームレートを有する撮像手段のフレーム画像と前記他の撮像手段のフレーム画像との対応付けを行い、該対応付けられたフレーム画像間でコンテンツ解析を行うことを特徴とする画像データ処理装置。
12. 請求項１１に記載の画像データ処理装置において、
    前記合成画像データを生成する手段は、前記応付けられたフレーム画像間でコンテンツ解析を行うことによって生成された中間画像データと前記最も高いフレームレートを有する撮像手段から入力した画像データとを、前記対応付けられたフレーム画像の時間的な位置関係を考慮して時間的に連続させるように合成することを特徴とする画像データ処理装置。
13. 請求項９〜１２に記載の画像データ処理装置において、
    前記合成画像データを、該合成画像データにおける各フレーム画像の時間長を示す情報を付加したデータフォーマットのデータとして出力する手段を有することを特徴とする画像データ処理装置。
14. 請求項９〜１２に記載の画像データ処理装置において、
    前記合成画像データを、該合成画像データにおける各フレーム画像の時間長を示す情報を、前記合成画像データとは別のデータとして出力する手段を有することを特徴とする画像データ処理装置。
15. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、
    前記入力した複数の画像データを用いてコンテンツ解析を行うステップと、
    前記コンテンツ解析の結果に基づいて遅延時間を設定するステップと、
    前記遅延時間に基づいて中間画像データを生成するステップと、
    前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成するステップと、
    を有することを特徴とする画像データ処理方法。
16. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力するステップと、
    前記入力した複数の画像データを用いてコンテンツ解析を行うステップと、
    前記コンテンツ解析の結果に基づいて遅延時間を設定するステップと、
    前記遅延時間に基づいて中間画像データを生成するステップと、
    前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成するステップと、
    を実行可能であることを特徴とする画像データ処理プログラム。
17. 複数の撮像手段が同じ被写体を同一撮像範囲で、かつ、前記複数の撮像手段間における同期を考慮せずに撮像することによって得られた異なるフレームレートを有する複数の画像データを入力する手段、前記入力した複数の画像データを用いてコンテンツ解析を行う手段、前記コンテンツ解析の結果に基づいて遅延時間を設定する手段、前記遅延時間に基づいて中間画像データを生成する手段及び前記生成された中間画像データと前記入力した複数の画像データのうち少なくとも１つの画像データとを時間的に連続するように合成して合成画像データを生成する手段を有する画像データ処理装置と、
    前記画像データ処理装置から出力される合成画像データを表示する画像表示装置と、
    を有することを特徴とする画像表示システム。

Images