以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る撮像装置のブロック図である。この撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどとして構成される。本撮像装置と同様の構成の撮像装置が、中央制御装置610(図7(b))と通信可能に接続されることで、撮像システムが構成される。
撮像装置は、光学鏡筒101、撮像素子102、駆動回路103、信号処理部104、圧縮伸張部105、制御部106、発光部107、操作部108、画像表示部109、画像記録部110、外部IF(インターフェース)111を備える。光学鏡筒101は、被写体からの光を撮像素子102に集光するためのレンズと、光学機構部112を構成するAF機構やズーム駆動機構、メカニカルシャッタ機構、絞り機構などから構成されている。これらのうち、光学機構部112は制御部106からの制御信号に基づいて駆動回路103により駆動される。
撮像素子102には、後述する画素201及びカラムADC(ADコンバータ)回路211(図2(b))により構成されるXY読み出し方式のCMOS型イメージセンサなどが採用される。撮像素子102は、制御部106からの制御信号に応じて動作する駆動回路103により、露光や信号読み出しやリセットなどの撮像動作を実施し、対応する撮像信号を出力する。信号処理部104は、チャンネル選択部113、被写体検出部114及び速度検出部115を備える。チャンネル選択部113は、制御部106の制御の下で、撮像素子102からの画像信号に対して、後述するマルチストリームを構成するチャンネルごとの信号を選択する。被写体検出部114は、選択されたチャンネルごとのストリームからの撮像信号に対して被写体検出処理を行い、被写体を個々に識別する識別手段である。被写体検出部114は、識別した被写体を一意に特定するために被写体ごとに識別コード(識別情報)を付与する。検出手段としての速度検出部115は、識別された被写体ごとに被写体を追尾し、被写体の移動速度を検出する。この移動速度の検出方法としては、連続するフレーム間の撮像信号から被写体の移動量を検出する方法が挙げられるが、これに限定されない。
信号処理部104は、撮像信号に対してAWB(Auto White balance)処理や色補正処理、AE(Auto Exposure)処理などの信号処理を施す。信号処理部104は、画像信号から得られるコントラスト情報などからAF(Auto focus)評価値を算出し、得られたAF評価値を制御部106に出力する。制御部106は、得られたAF評価値に基づいて光学機構部112の制御量を決定し、この制御量を駆動回路103に出力して光学機構部112を駆動回路103によって動作させる。
圧縮伸張部105は制御部106の制御の下で動作し、信号処理部104からの画像信号に対してJPEG(Joint Photographic Coding Experts Group)方式などの所定の画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部105は、制御部106から供給された静止画像の符号化データを伸張復号化処理する。なお、圧縮伸張部105は、MPEG(Moving Picture Experts Group)方式などにより動画像の圧縮符号化/伸張復号化処理を実行可能であってもよい。制御部106は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。CPUが、ROMなどに記憶されたプログラムを実行することにより、本撮像装置の各部を統括的に制御する。
発光部107は、キセノン管を用いたストロボ装置やLED発光装置などである。発光部107は、信号処理部104でのAE処理によって被写体の露光値が低いと判断された場合に、被写体に対して光を照射する。操作部108は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部106に出力する。画像表示部109は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインターフェース回路などから成る。画像表示部109は、制御部106から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。
画像記録部110は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープなどとして実現される。画像記録部110は、圧縮伸張部105により符号化された画像データファイルを制御部106から受け取って記憶する。また、画像記録部110は、制御部106からの制御信号を基に指定されたデータを読み出し、制御部106に出力する。
外部IF111は、撮像装置の各種設定条件を外部から制御されるためのカメラ制御入力部を備える。出力手段としての外部IF111はまた、信号処理部104にてチャンネルごとに分離された撮像信号を制御部106を介して撮像装置の外部に出力するマルチストリーム出力部を有する。外部IF111は、外部IF111に物理的、電気的に適合するように設けられた制御機器、他の撮像装置などから、各種指示や設定を示す情報を受ける。上記制御機器や他の撮像装置には中央制御装置610(図7(b)))も該当し得る。例えば、外部IF111から取得された情報に基づき、撮像装置内のマルチストリームを構成するチャンネルごとの、静止画撮影時の露光時間や動画のフレームレートといった撮影条件の設定や、撮像信号の出力レーン構成の変更等の制御が実施される。また、上記制御機器や他の撮像装置は、マルチストリーム出力部を通して、チャンネルごとに分離された撮像信号だけではなく、対象となる被写体の識別コードや撮影時の撮影条件や時刻情報といった各種付帯情報をチャンネルごとに得ることができる。
図2(a)、(b)は、撮像素子102の構造を表す概略斜視図、ブロック図である。撮像素子102は、図2(a)に示すように、光電変換を行う複数の画素201が配された第1のチップ20と、第1のチップ20から出力された画素信号を処理する第2のチップ21とが積層されて成る。第1のチップ20は光入射側に配され、マトリクス上に複数配列された画素201を有する。第1のチップ20に画素部の半導体が設けられ、第2のチップ21に画素駆動回路やPS回路のような機能回路などの半導体設けられ、従って、第1のチップと第2のチップとに機能の異なる半導体が分けられている。周辺回路と画素部の製造プロセスを分けることで周辺回路部の配線の細線化、回路の高密度化による高速化、小型化、高機能化が図られている。
撮像素子102のブロック構成について図2(b)にて説明する。第1のチップ20は、各画素201に水平方向に接続された転送信号線203、リセット信号線204、行選択信号線205と、画素201に垂直方向に接続された列信号線202-a、202-b、202-c、202-dとを有する。列信号線202-a、202-b、202-c、202-dは、読み出し行単位、列単位によって、接続先がa、b、c、dの4つのチャンネルに区別されている。チャンネル分離に関しては図3にて後述する。
第2のチップ21は、複数のカラムADC回路211と、各行を走査する行走査回路212と、各列を走査する列走査回路213と、タイミング制御回路214と、水平信号線215-a、215-b、215-c、215-dとを有する。カラムADC回路211は、各列信号線202-a、202-b、202-c、202-dに各々接続されている。タイミング制御回路214は、制御部106からの制御信号を受けて行走査回路212と列走査回路213とカラムADC回路211のタイミングをそれぞれ制御する。水平信号線215-a、215-b、215-c、215-dは、列走査回路213から制御されるタイミングに従いカラムADC回路211からの信号を転送する。
PS(パラレル-シリアル変換)回路216は、a、b、c、dの4つのチャンネルごとに設けられ、カラムADC回路211によりAD変換された後のデジタル信号をパラレル―シリアル変換する。水平信号線215-a、215-b、215-c、215-dに出力されるデジタル信号は、対応するPS回路216に供給される。デジタル信号は、各チャンネルのPS回路216を通して高速シリアル信号として複数レーン構成に分割されて、出力IF(インターフェース)ドライバ217に供給される。出力IFドライバ217からは、所定のレーン数(例えば、8個)をリソースの上限として、撮像素子102から信号処理部104へと出力される。
次に撮像素子102の動作について詳細に説明する。各画素201には、フォトダイオードPD、転送トランジスタM1、リセットトランジスタM2、増幅トランジスタM3、選択トランジスタM4が設けられている。なお、各トランジスタはnチャネルMOSFET(MOS Field-Effect Transistor)であるとする。また、転送トランジスタM1、リセットトランジスタM2及び選択トランジスタM4の各ゲートには、それぞれ転送信号線203、リセット信号線204、行選択信号線205が接続されている。これらの信号線は水平方向に延在して、同一行に含まれる画素を同時に駆動する。これにより、ライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。
フォトダイオードPDは、光電変換により生成された電荷を蓄積するものであり、そのP側が接地され、N側が転送トランジスタM1のソースに接続されている。転送トランジスタM1がONすると、フォトダイオードPDの電荷がFD(フローティングディフュージョン)に転送されるが、FDには寄生容量があるので、この部分に電荷が蓄積される。増幅トランジスタM3のドレインは電源電圧Vddとされ、増幅トランジスタM3のゲートはFDに接続されている。この増幅トランジスタM3は、FDの電圧を電気信号に変換する。選択トランジスタM4は、信号を読み出す画素を行単位で選択するためのものであり、そのドレインは増幅トランジスタM3のソースに、そのソースは列信号線202に接続されている。選択トランジスタM4がONしたときに、FDの電圧に対応する電圧が列信号線202に出力される。リセットトランジスタM2のドレインは電源電圧Vddとされ、そのソースはFDに接続されている。このリセットトランジスタM2はFDの電圧を電源電圧Vddにリセットする。
さらに、選択トランジスタM4のソースには、列信号線202-a、202-bが1行おきに接続され、列信号線202-c、202-dが1行おきに接続されている。そして、上記の構成により、a、b、c、dの4つのチャンネルごとに、異なるリセットタイミング、転送タイミングでシャッタ動作を行い、異なる読み出し経路を通して独立して信号を読み出すことが可能となっている。この複数の読み出し構成を指して、「マルチストリーム」と呼称している。すなわち、撮像素子102は、チャンネルごとの4つの画素領域を有し、各画素領域からの画素信号を、画素領域ごとの撮影条件で互いに異なる経路を通じて読み出すことができるマルチストリーム出力機能を有する。
図3(a)、(b)を用いて、a、b、c、dの4つのチャンネルごとの画素信号の読み出し選択の方法について説明する。図3(a)、(b)は、画素201の配列の様態例を示す図である。
説明の便宜上、図3(a)では、配列上の画素201のそれぞれには、a、b、c、dの4つのチャンネルを示すa、b、c、dの表記に続けて、水平m列番目、垂直n行番目の番号を括弧付けで(m、n)として表記している。また、画素配列のサイズは、フルハイビジョン動画に相当する水平1920、垂直1080に対して、水平、垂直それぞれ2倍のサイズであるとした。そして、a、b、c、dの4つのチャンネルごとに分割された後、チャンネルごとに1フレームの画像がちょうどフルハイビジョン動画のサイズの画像として得られるように設定した。
図3(a)の例では、aチャンネルには、奇数列、奇数行の画素201を割り当て、bチャンネルには、偶数列、奇数行の画素201を割り当てている。また、cチャンネルには、奇数列、遇数行の画素201を割り当て、dチャンネルには、偶数列、遇数行の画素201を割り当てている。
図3(b)は、上記のa、b、c、dチャンネルの割り当てに対して、各チャンネル単位で独立して1フレームの画像が読み出される様態を示す図である。なお、画素201の全画素配列のサイズは図3(a)の例に限らない。例えば、全画素配列のサイズが、フルハイビジョン動画に相当する水平1920、垂直1080に対して、水平、垂直それぞれ4倍のサイズとしてもよい。この場合には、a、b、c、dの4つのチャンネルの読み出し領域は、図3(a)のような同一の領域内に限定されない。行走査回路212および列走査回路213による走査領域を4つのチャンネルごとに独立に設定することで、チャンネルごとに読み出し領域を異ならせることが可能である。そして、チャンネルごとに対象とする被写体に追尾して移動させることも可能である。以降の説明では、理解を容易にするため、図3(b)に示す全画素配列を例にとる。
図4(a)は、ライブビュー動作時および高速動画時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを示す図である。ライブビュー用信号として、奇数列の画素201の画素信号は列信号線202-aへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムADC回路211、水平信号線215-a、PS回路216、出力IFドライバ217を経て、信号処理部104へと、aチャンネルのストリーム信号(ストリーム出力)が読み出される。
aチャンネルについては、図3(b)に示されるように、1行あたり1920列数の画素信号が1080行数分、順次読み出されて、水平1920、垂直1080の画素サイズの1フレーム画像として、信号処理部104に伝送される。画素201の画素信号は、途中でカラムADC回路211により12ビットのデジタル信号に変換されるとともに、1フレームあたり120fpsの比較的高速なフレームレートで読み出される。ライブビュー動作時の撮像信号のフレームの高速化は、速い動きを伴う被写体を的確にとらえて被写体に画角を合わせるファインダ機能とAF制御機能の性能向上に極めて有効である。
さらに、aチャンネルのストリーム信号の総伝送容量は、aチャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×120fps=2.88Gbpsとなる。これを4レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
撮像素子102および撮像装置の小型化を考慮して、PS回路216の出力リソースは最大4レーン、出力IFドライバ217の出力リソースは最大8レーンに設定されている。ライブビュー動作時には、他のb、c、dチャンネルに割り当てられたストリーム信号の動作が休止される。これは、総伝送容量を出力リソースの範囲内に抑え、且つ撮像装置の電力を低減するのに有効である。
撮像素子102の動作について、高速動画設定の場合もライブビュー動作時と同様である。これにより、2M画素(1920×1080)サイズで、120fpsの高速動画を撮影、記録することができる。
図4(b)は、静止画撮影時および高精細動画時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを示す図である。静止画用信号は、ライブビュー信号の場合とは異なり、a、b、c、dチャンネルの全てのストリーム信号が並行して読み出される。すなわち、奇数列の画素201の画素信号が列信号線202-aへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムADC回路211、水平信号線215-a、PS回路216、出力IFドライバ217を経て、信号処理部104へと、aチャンネルのストリーム信号が読み出される。これと同時並行して、偶数列の画素201の画素信号が列信号線202-bへと出力される。この読み出し走査が奇数行単位で順次行われ、カラムADC回路211、水平信号線215-b、PS回路216、出力IFドライバ217を経て、信号処理部104へと、bチャンネルのストリーム信号が読み出される。同様にして、奇数列の画素201が列信号線202-cへと出力される。この読み出し走査が偶数行単位で順次行われ、カラムADC回路211、水平信号線215-c、PS回路216、出力IFドライバ217を経て、信号処理部104へと、cチャンネルのストリーム信号が読み出される。同様にして、偶数列の画素201が列信号線202-dへと出力される。この読み出し走査が偶数行単位で順次行われ、カラムADC回路211、水平信号線215-d、PS回路216、出力IFドライバ217を経て、信号処理部104へと、dチャンネルのストリーム信号が読み出される。
各チャンネルにおいて、図3(b)に示されるように、1行あたり1920列数の画素信号が、1080行数分、順次読み出されて、水平1920、垂直1080の画素サイズの1フレーム画像として、信号処理部104に伝送される。画素201の画素信号は、途中で、カラムADC回路211により12ビットのデジタル信号に変換されるとともに、1フレームあたり60fpsの標準的なフレームレートで読み出される。静止画時の撮像信号用に、同時並行にa、b、c、dチャンネルの全てのストリーム信号を読み出すことで、全てのストリーム信号を用いて1フレーム画像を構成することができるので、静止画の高精細化に極めて有効である。チャンネルごとのストリーム信号の総伝送容量は、各チャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×60fps=1.44Gbpsとなる。これを2レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
撮像素子102の動作について、高精細動画設定の場合も静止画撮像時と同様である。これにより、8M画素(3840×4320)サイズで、60fpsの高精細動画を撮影、記録することができる。
図5は、撮影処理のフローチャートである。この処理は、制御部106が備えるROM等の記憶部に格納されたプログラムをCPUがRAMに読み出して実行することにより実現される。まず、ステップS101~106で、通常撮影時の基本的な動作について説明する。
撮像装置の電源(電池等)が投入されると、ステップS101で、制御部106は、操作部108の電源スイッチがオフにされたか否かを判別する。そして制御部106は、電源スイッチがオフにされると図5の撮影処理を終了させる。電源スイッチがオフでない場合は、ステップS102で、制御部106は、ライブビュー動作を開始する。ライブビュー動作が開始されると、撮像素子102から出力された画像信号が順次、CDS処理、AGC処理を施された後、さらにカラムADC回路211(図2)においてデジタル画像信号に変換される。
信号処理部104は、撮像素子102から得られたデジタル画像信号に画質補正処理を施し、それをライブビュー画像の信号として、制御部106を通じて画像表示部109に供給する。これにより、ライブビュー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。ライブビュー画像の信号として使用される撮像信号には、後述するマルチストリームにおける1つのチャンネル(ストリーム)が割り付けられる。また、ライブビュー画像の信号におけるコントラスト情報などからAF評価値が算出され、得られたAF評価値をもとにしてAF制御にも利用される。
ライブビュー動作状態で、ステップS103で、制御部106は、操作部108の操作ボタンが押下されたか否かを判別する。そして、操作部108の操作ボタンが押下されていない場合は、制御部106は、処理をステップS101に戻す。操作部108の操作ボタンが押下された場合は、制御部106は、その操作ボタンが、静止画撮影を指示するレリーズボタン、動画開始ボタン、マルチアングル撮影ボタンのいずれであるかによって処理を分岐させる。
まず、レリーズボタンが押下された場合は、制御部106は、ステップS105に進んで静止画撮影動作に移行する。制御部106は、撮像素子102からの1フレーム分の撮像信号を、信号処理部104に取り込む。信号処理部104は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部105に供給する。圧縮伸張部105は、入力された画像信号を圧縮符号化し、生成した符号化データを画像記録部110に供給する。これにより、撮像された静止画像のデータファイルが画像記録部110に記録される。撮像された静止画像の信号として使用される撮像信号には、マルチストリームにおける全てのチャンネルが割り付けられる。
そして、画像記録部110に記録された静止画像のデータファイルを再生する場合には、制御部106は、操作部108からの操作入力に応じて、選択された画像データファイルを画像記録部110から読み込む。そして制御部106は、圧縮伸張部105に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部106を介して画像表示部109に供給され、これにより静止画像が再生表示される。ステップS105にて一連の静止画撮影動作が終了すると、制御部106は、処理をステップS101に戻す。
ステップS104で、動画開始ボタンが押下された場合は、制御部106は、ステップS106に進んで動画撮影動作に移行する。制御部106は、撮像素子102からの1フレーム分の撮像信号を信号処理部104に取り込む。その後、制御部106は、操作部108の動画終了ボタンが押下されるまで、フレーム単位の撮像信号の取り込み動作を継続する。信号処理部104で順次処理された画像信号に圧縮伸張部105が圧縮符号化処理を施し、生成された動画像の符号化データが順次、画像記録部110に転送されて記録される。撮像された動画像の信号として使用される撮像信号には、設定された動画の仕様に応じて、高速動画設定の場合にはライブビュー画像の場合と同様に1つのチャンネルが割り付けられる。また、高精細動画設定の場合には、静止画像の場合と同様にマルチストリームの全チャンネルが割り付けられる。
そして、画像記録部110に記録された動画像のデータファイルを再生する場合には、制御部106は、操作部108からの操作入力に応じて、選択された画像データファイルを画像記録部110から読み込む。そして制御部106は、その画像データファイルを圧縮伸張部105に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部106を介して画像表示部109に供給され、これにより動画像が再生表示される。ステップS106にて一連の動画撮影動作が終了すると、制御部106は、処理をステップS101に戻す。
ステップS104で、マルチアングル撮影ボタンが押下されると、制御部106は、ステップS107に進んでマルチアングル撮影動作に移行する。
マルチアングル撮影動作の詳細について図6、図7で説明する。図6(a)は、マルチアングル撮像システムの撮影環境を示す図である。この撮影システムでは、マルチストリーム機能を備えた複数の撮像装置を、複数の被写体の周囲の異なる場所に配置して、複数の被写体を異なるアングルから撮影する。この撮影システムを構成する撮像装置は、カメラ601、カメラ602、カメラ603の3台とする。カメラ601、カメラ602、カメラ603の内部構成は、これまでに説明した撮像装置の構成と同様のものである。各カメラは、互いに動きの異なる4人の人物を被写体(被写体1~4)として捉えている。この例では、疾走する人物(高速移動体)を被写体1、ジョギングする人物(中速移動体)を被写体2、ウォーキングする人物(低速移動体)を被写体3及び被写体4と想定する。
図6(b)は、各カメラからマルチストリーム出力として、4つのチャンネル信号A、B、C、D(動画ストリーミング)が出力される様態を模式的に示す図である。例えば、aチャンネルからは、被写体1を主たる撮影対象とするフレームレート120fpsの動画データ(チャンネル信号A)が出力されている。bチャンネルからは、被写体2を主たる撮影対象とするフレームレート60fpsの動画データ(チャンネル信号B)が出力されている。cチャンネルからは、被写体3を主たる撮影対象とするフレームレート30fpsの動画データ(チャンネル信号C)が出力されている。dチャンネルからは、被写体4を主たる撮影対象とするフレームレート30fpsの動画データ(チャンネル信号D)が出力されている。
図7(a)は、1つのカメラ(例えば、カメラ602)による動画撮影の1シーン(1フレーム)の撮影イメージを示す図である。図7(a)において離散的にメッシュで塗られたセルは、特定チャンネルの画素を模式的に表現したものである。実際には、各カメラは特定チャンネルの画素信号のみで各被写体を精細に描写して撮影できるほどに十分な解像度と画素数を持った撮像素子によって構成されている。
図7(b)は、マルチアングル撮影時に、カメラ601、602、603と、これらと相互接続された中央制御装置610とで構成される撮影システムの全体構成図である。中央制御装置610は、CPU611、ROM612、RAM613、外部IF614を備える。ROM612には、CPU611により実行される制御プログラムが格納される。外部IF614は、各カメラ601、602、603の外部IF111を通信可能に接続する。
中央制御装置610とカメラ601とは、外部IF111及び外部IF614を介して相互接続されている。図1で説明したように、中央制御装置610からはカメラ制御信号604によりカメラ601の各種設定を行える。例えば、中央制御装置610は、カメラ601内のマルチストリームを構成するチャンネルごとの静止画撮影時の露光時間や動画のフレームレートといった撮影条件を設定したり、撮像信号の出力レーン構成を変更したりといった制御が可能である。また、中央制御装置610は、マルチストリームを構成するチャンネルごとにフレーム同期信号を供給することで、各カメラ間でのチャンネルごとのフレーム同期をとり、フレーム単位で露光タイミングを合わせることが可能である。フレーム間で同期をとることで合成の精度を高めることができる。
また、中央制御装置610は、カメラ出力信号605により、チャンネルごとに分離された撮像信号だけではなく、対象となる被写体の識別コードや撮影時の撮影条件や時刻情報といった各種付帯情報をチャンネルごとに得ることができる。カメラ602、603と中央制御装置610との接続関係はカメラ601と同様である。
ここで、「付帯情報」は、各チャンネル信号において1水平行ごとに付随する情報である。付帯情報は撮影条件(撮影パラメータ)及び被写体の識別コードを含む。撮影条件には、読み出し条件(露光時刻、フレームレート)、被写体の移動速度、露光時間等が含まれる。
このようなシステム構成において、図5のステップS107で実行されるマルチアングル撮影動作について説明する。撮像装置としてカメラ601での動作を例にとって説明するが、他のカメラ602、603でも同様の動作が並行して実行される。
まず、中央制御装置610からカメラ601へ、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを指定するための指定情報がカメラ制御信号604に含まれて送られる。この指定情報を受けて、制御部106は、チャンネルごとのフレームレートと出力レーン構成とを設定する。なお、チャンネルごとのフレームレートと出力レーン構成は、指定情報によらずに固定値に設定されていてもよい。
制御部106は、撮像素子102からの1フレーム分の撮像信号を信号処理部104(図1)に取り込む。チャンネル選択部113はチャンネルごとの撮像信号を選択する。被写体検出部114は、選択された撮像信号ごと(チャンネルごと)に、対象となる主被写体を識別する。
ここで、被写体検出部114による被写体の識別の方法の一例としては、例えば、被写体がスポーツ選手などの人物であれば、装着する背番号や顔検出結果に基づく人物判定方法などが挙げられる。他のカメラとの間で、被写体を同定できる識別方法であればどのようなものであっても良い。被写体検出部114は、識別した被写体に識別コードを付与する。対応付け手段としての制御部106は、選択されたチャンネルに識別コードを対応付ける。特にスポーツ選手のように登場人物が事前に判明している場合は、識別コードを選手ごとに予め定めておいてもよい。さらに、速度検出部115は、識別された被写体を被写体ごとに追尾し、追尾した被写体の移動速度を検出する。識別コードと移動速度とは、チャンネル分離された各撮像信号と一緒に制御部106に伝送される。
なお、このとき対象となる主被写体は、最初からチャンネルごとに対応づけられているわけではない。本実施の形態では、各チャンネルのストリーム信号のフレームレートと出力レーン構成とが予め所定の条件で固定的に決められている。そこで、制御部106は、マルチアングル撮影動作に移行した最初の数フレームの撮像信号の読み出しの間に、チャンネルごとの主被写体を決定する。そのために制御部106は、被写体の識別に際し、複数の被写体の中から各チャンネル信号のフレームレート条件に適した被写体を主被写体として選択する動作を併せて実施する。
すなわち、マルチアングル撮影時において、制御部106は、各被写体の移動速度に基づき、対応するチャンネルを決定する。フレームレートがaチャンネル>bチャンネル>cチャンネル=dチャンネルの順であるとすると、制御部106は、各被写体を、移動速度の速い順に、a、b、c、dチャンネルに対応付ける。なお、マルチアングル撮影時において、被写体1~4の速さが予め想定される場合は、a、b、c、dチャンネルのそれぞれに、予め定めた被写体を対応付けるようにしてもよい。
制御部106に伝送されたチャンネルごとの撮像信号には、制御部106内の不図示のRTC(リアルタイムクロック)回路により、1水平行の撮影データごとに、露光時刻が対応付けられると共に、識別コードと移動速度などの被写体情報も付加される。そしてチャンネルごとの撮像信号は、各種付帯情報を伴うストリーム信号として、外部IF111を介してカメラ601から中央制御装置610に出力される。また、チャンネルごとに分離された撮像信号は、信号処理部104で順次処理された画像信号に圧縮伸張部105で圧縮符号化処理を施され、生成された動画像の符号化データが順次、画像記録部110に転送されて記録される。
制御部106は、操作部108のマルチアングル撮影の終了ボタンが押下されるまで、フレーム単位の撮像信号の取り込み動作を継続し、一連のマルチアングル撮影動作が終了すると、処理をステップS101に戻す。撮像されたマルチアングル動画像として使用される撮像信号には、静止画像の場合と同様にマルチストリームの全チャンネルが割り付けられる。
図8(a)は、マルチアングル撮影時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを例示する図である。図8(b)は、マルチアングル撮影時のチャンネル信号のストリーミングを示すタイミンングチャートである。図8(c)は、1フレーム期間内の各行(1~1080行)の信号の出力の様態を詳細に示す図である。
aチャンネルのストリーム信号は、図3(b)でも説明したように、被写体1(高速移動体)を主たる撮影対象として、フレームレート120fpsの動画データが割り当てられて出力される。aチャンネルのストリーム信号の総伝送容量は、aチャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×120fps=2.88Gbpsとなる。これを4レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
bチャンネルのストリーム信号は、被写体2(中速移動体)を主たる撮影対象として、フレームレート60fpsの動画データが割り当てられて出力される。bチャンネルのストリーム信号の総伝送容量は、bチャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×60fps=1.44Gbpsとなる。これを2レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
cチャンネルおよびdチャンネルのストリーム信号は、被写体3および被写体4(低速移動体)を主たる撮影対象として、フレームレート30fpsの動画データが割り当てられて出力される。cチャンネルおよびdチャンネルのストリーム信号の総伝送容量は、これらの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×30fps=720Mbpsとなる。これを1レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
PS回路216の出力リソースは最大4レーン、出力IFドライバ217の出力リソースは最大8レーンの設定とされており、これらの出力リソースを超えない範囲内で、チャンネルごとの出力レーン構成が固定的に設定される。これらのレーン数は例示した値に限定されない。
aチャンネルのストリーム信号は、対応する識別コードや撮影パラメータ等の、ストリーム信号に関連する付帯情報と一緒となって、カメラ601のaチャンネルから出力される。同様に、b、c、dチャンネルのストリーム信号は、対応する識別コードや撮影パラメータ等の、ストリーム信号に関連する付帯情報と一緒となって、カメラ601のb、c、dチャンネルからそれぞれ出力される。
図8(b)では、横軸に時刻tをとり、a、b、c、dチャンネル信号の1フレーム期間ごとのタイミングと1フレーム期間内の各行信号(1~1080行)の出力の様態を模式的に表現している。各行ごとのストリーム信号の内訳は、1水平行分の撮像データのほか、当該ストリーム信号に対応する識別コードと、撮影の露光時刻(撮影時刻)やフレームレートなどの読み出し条件や被写体の移動速度を含む撮影パラメータを示すコードを含む。撮影時刻は、ストリーム信号に対して定期的に対応付けられればよく、1水平行ごとに対応付けられることは必須でない。
マルチアングル撮影時のカメラ601の動作について説明したが、カメラ602、603の動作も、基本動作はカメラ601と同様であり、各ストリーム信号のフレームレートと出力レーン構成もカメラ間で共通の設定である。
中央制御装置610は、3台のカメラ601、602、603を上記のように動作させ、これらのカメラから各ストリーム信号を受け取り、同じ識別コードに対応付けられたストリーム信号同士を組み合わせて合成できる。例えば、中央制御装置610は、識別コードが一致し、フレームレートなどの読み出し条件が共通のストリーム信号を合成する。その際、中央制御装置610は、撮影の露光時刻(撮影時刻)の情報を参照することで複数のストリーム信号の同期をとり、同一被写体に対するマルチアングル合成を容易に実現できる。しかも、システムを構成する個々のカメラ601、602、603も小規模で高速かつ低消費電力なもので実現できる。
本実施の形態によれば、制御部106は、識別された被写体を個々に特定する識別コードを各ストリーム信号のそれぞれに対応付け、ストリーム信号のそれぞれを、識別コードが対応付けられた状態で出力する。これにより、中央制御装置610においては、識別コードをたよりに被写体ごとのマルチアングル合成が可能となる。よって、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることができる。
また、制御部106は、ストリーム信号ごとに撮影時刻を定期的(1水平行ごと)に対応付け、ストリーム信号のそれぞれを、撮影時刻が対応付けられた状態で出力する。これにより、中央制御装置610においては、被写体ごとのマルチアングル合成の際に、撮影時刻をたよりに信号の同期をとることができる。
また、ストリーム信号のそれぞれに設定されるフレームレートは異なる固定値であって、そのうち少なくとも一部は互いに異なる値である。また、ストリーム信号のそれぞれに設定される出力レーンの数も異なる固定値であって、そのうち少なくとも一部は互いに異なる値である。これらにより、全てのストリーム信号を、不必要に高速転送や大容量転送に対応させる必要がない。従って、3D合成やマルチアングル合成を行うための各カメラの消費電力やコストの上昇を抑え、大掛かりなものとなることが回避される。しかも、最も高いフレームレートが設定されたストリーム信号(aチャンネル)に設定される出力レーンの数は、全ストリーム信号のうち最も大きいので、大きな伝送容量に対応することができる。
また、制御部106は、移動速度の最も速い被写体を特定する識別コードを、最も高いフレームレートが設定されたストリーム信号に対応付けるので、被写体の動きに追従して撮りこぼしの少ない撮影が可能となる。
(第2の実施の形態)
第1の実施の形態では、マルチアングル撮影時の各ストリーム信号のフレームレートおよび出力レーン構成を固定とした。しかし、撮影環境を取り巻く被写体の状況は刻々変化し、被写体の数や移動速度が想定を逸脱する場合に、固定条件だけでは適切に対処しきれない場合も発生し得る。そこで本発明の第2の実施の形態では、マルチアングル撮影時の各ストリーム信号のフレームレートおよび出力レーン構成を、固定条件ではなく、被写体の数や移動速度といった被写体の性質に合わせて可変させる。そうすることで、被写体の状況変化により柔軟に対応してマルチアングル撮影を実現できるようにする。図9、図10を用いて本実施の形態を説明する。
図9(a)は、マルチアングル撮像システムの撮影環境を示す図である。図9(a)では、図6(a)で示したのと同じ撮影環境と同じカメラ配置において、時間が経過して被写体の状況が変化した様子を示している。図6(a)では、被写体1は各カメラの撮影視野内を高速に移動していたが、図9(a)では各カメラの視野外に出てしまい捉えられなくなっている。また、被写体2は視野内にあるものの、移動速度を中速から高速に増して移動している。同様に被写体3と被写体4も視野内にあるものの、ともに移動速度を低速から中速に増して移動している。
図9(b)は、図9(a)に示す状況に対応し、各カメラからマルチストリーム出力として、4つのチャンネル信号A、B、C、D(動画ストリーミング)が出力される様態を模式的に示す図である。各被写体の状況の変化に合わせて、カメラ601、カメラ602、カメラ603のそれぞれから出力されるマルチストリーム信号は、図6(b)に示すものから図9(b)に示すものへと変化する。
図9(c)は、マルチアングル撮影時におけるチャンネルごとの撮像信号の読み出しの条件と出力構成とを例示する図である。各被写体が図6(a)の状態から図9(a)の状態へと遷移することに対応して、条件・出力構成が図8(a)に示す状態から図9(c)に示す状態へと更新される。
図9(c)に示すように、被写体1がカメラ601の視野外へ出たことで、一旦識別された被写体1が識別不能となった。従って、aチャンネルのストリーム信号は、休止状態とされる。つまり、レーン構成の割り付けは無し(0個)とされる。また、被写体2が高速移動体となったことで、被写体2に対応するbチャンネルのストリーム信号には、新たにフレームレート120fpsの動画データが割り当てられる。bチャンネルのストリーム信号の総伝送容量は、bチャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×120fps=2.88Gbpsとなる。これを4レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
また、被写体3、4が中速移動体となったことで、被写体3、4にそれぞれ対応するc、dチャンネルのストリーム信号には、新たにフレームレート60fpsの動画データが割り当てられる。c、dチャンネルのストリーム信号の総伝送容量は、c、dチャンネルの総画素数が約2M画素(1920×1080)であることから、2M画素×12ビット×60fps=1.44Gbpsとなる。これらをそれぞれ2レーンに分配することで、実用的に1レーンあたりの伝送容量が1Gbpsを超えない720Mbpsに抑えることができる。
このように、各チャンネル信号のフレームレートが決まると、それに対応して一意にレーン構成も決まる。具体的には、制御手段としての制御部106は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値(ここでは8個)に収まるように、他のストリーム信号に設定される出力レーンの数を変更する。その際、制御部106は、1レーンあたりの伝送容量が、シリアル転送容量の上限(ここでは1Gbps)を超えないように、出力レーンの数を設定する。PS回路216の出力リソースは有限であり、最大4レーン、出力IFドライバ217の出力リソースは最大8レーンの設定なので、休止チャンネルを設けて、リソースの範囲内でその分を他のチャンネルのストリーム信号に割り付けることができる。これにより、リソースが有効活用される。
フレームレートおよび出力レーン構成を可変とした場合のカメラ601の動作の詳細について図10で説明する。図10は、マルチアングル撮影動作のフローチャートである。この処理は、図5のステップS107で実行される。なお、ステップS107以外の処理は第1の実施の形態において図5で説明したのと同じである。
まず、ステップS201にて、制御部106は、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを設定する。中央制御装置610から外部IF111を介して、マルチストリーム信号を構成するチャンネルごとのフレームレートと出力レーン構成とを指定するための指定情報(カメラ制御信号604に含まれる)が送られる。この指定情報に従って、制御部106は、チャンネルごとのフレームレートと出力レーン構成とを示す値を、制御部106内部のチャンネルプリ設定領域に設定する。従って、制御部106は、1回目のステップS201の処理においては、初期値を示す指定情報に基づいてチャンネルごとのフレームレートと出力レーン構成とを設定する。ここでは、初期値は第1の実施の形態と同様に図8(a)に示した設定内容であるとする。なお、チャンネルごとのフレームレートと出力レーン構成は、指定情報によらずに初期値に設定されていてもよい。2回目以降のステップS201の処理においては、その時点のチャンネルプリ設定領域の内容に基づく値が設定される。従って、チャンネルプリ設定領域が更新されれば、それに応じてフレームレート及び出力レーン構成が更新され得る。
ステップS202にて、制御部106は、画素201に所定の露光時間で電荷を蓄積させ、撮像素子102から撮像信号を読み出して信号処理部104に取り込む。この際に、a、b、c、dの各チャンネル信号は、ステップS201で設定されたチャンネルごとのフレームレートと出力レーン構成とに基づいて、マルチストリーム信号として同時並行して読み出される。
ステップS202~S209の処理は、各チャンネルに対し、タイミングは異なるものの並行して実行される。ステップS202~S209は各チャンネルについて共通の動作である。まず、aチャンネルでの処理(S202a~S209a)について詳細に説明する。
ステップS203aでは、制御部106は、aチャンネルの撮像信号を分離する。ステップS204aにて、制御部106による制御に従って、信号処理部104内のチャンネル選択部113で選択されたaチャンネルの撮像信号に対して、被写体検出部114は、対象となる主被写体を識別する。ステップS205aでは、制御部106は、aチャンネルの主被写体である被写体1がカメラの視野外に出たか否かを判別する。例えば、被写体検出部114が、一旦識別された被写体を識別できなくなった場合に、チャンネル分離されたaチャンネルの撮像信号と一緒に、NG(識別不能)を示す識別結果を制御部106に返す。これにより制御部106は、主被写体が視野外に出たと判別する。すると、ステップS208aで、制御部106は、その内部のチャンネルプリ設定領域に、aチャンネルの休止を示す動作条件を設定する。チャンネルプリ設定領域に設定された動作条件は、この時点では即時実行されない。図9(a)の例では、ステップS205aからステップS208aに進む。
その後、ステップS209aにて、制御部106は、他のb、c、dチャンネル信号の全てのフレーム信号の読み出しが完了しているか否かを判別する。そして、読み出し完了していないフレーム信号があれば、制御部106は、処理をステップS202aに戻す。一方、全てのフレーム信号の読み出しが完了している場合は、制御部106は、処理をステップS210に進める。例えば、図8(a)に示す設定内容の場合、1フレーム期間が最も長いのは、フレームレートの最も低いc、dチャンネル信号であり、それらの1フレーム期間は1/30秒である。この時点でc、dチャンネル信号の1フレーム信号の読み出しが完了していなければ、制御部106は、ステップS202aに処理を戻して、再び、1フレーム期間が1/120秒であるaチャンネル信号の露光・読み出しを繰り返す。この動作は、c、dチャンネル信号の1フレーム信号の読み出しが完了するまで繰り返される。
一方、ステップS205aでの判別の結果、aチャンネルの主被写体(被写体1)がカメラの視野外に出ていない場合は、ステップS206aで、制御部106は、速度検出部115に、当該主被写体の移動速度を検出させる。識別コードと移動速度とは、aチャンネルの撮像信号と一緒に制御部106に伝送される。そして、ステップS207aにて、制御部106は、主被写体の移動速度に対して適切に追尾するためにフレームレートの変更が必要であるか否かを判別する。例えば、制御部106は、主被写体の移動速度の単位時間当たりの変化量が所定の閾値を超えた場合に、フレームレートの変更が必要と判別する。そして、フレームレートの変更が必要でない場合は、制御部106は、処理をステップS209aに進める。一方、フレームレートの変更が必要である場合は、制御部106は、処理をステップS208aに進める。ステップS207aからステップS208aに移行した場合は、制御部106は、制御部106内部のチャンネルプリ設定領域に、移動速度に応じて、追尾可能なレート条件を設定する。チャンネルプリ設定領域で設定された動作条件はこの時点では即時実行されない。
次に、チャンネル選択部113で選択されたbチャンネルに対応する処理について説明する。bチャンネルに対応するステップS202b、S202bは、aチャンネルに対応するステップS202a、S203bと同様である。ステップS204bにて、制御部106により制御に従って、信号処理部104内のチャンネル選択部113で選択されたbチャンネルの撮像信号に対して、被写体検出部114は、対象となる主被写体を識別する。ステップS205bでは、制御部106は、bチャンネルの主被写体(被写体2)がカメラの視野外に出たか否かを判別する。
被写体2が視野外に出た場合は、制御部106は、処理をステップS208bに進める。図9(a)の例では、bチャンネルの主被写体である被写体2は視野内に留まるので、処理はステップS206bに進む。ステップS206bでは、制御部106は、速度検出部115に、当該主被写体の移動速度を検出させる。識別コードと移動速度とは、チャンネル選択されたbチャンネルの撮像信号と一緒に制御部106に伝送される。そして、ステップS207bにて、制御部106は、主被写体の移動速度に対して適切に追尾するためにフレームレートの変更が必要であるか否かを判別する。
図9(a)の例では、被写体2の移動速度が中速から高速に増しているため、制御部106は、その移動量から、従前に設定された60fpsでは追尾しきれないと判断し、フレームレートの変更が必要と判別する。そして、ステップS208bにて、制御部106は、内部のチャンネルプリ設定領域に、移動速度に応じて、追尾可能なbチャンネルのレート条件として120fpsを設定する。チャンネルプリ設定領域で設定された動作条件はこの時点では即時実行されない。
ステップS209bは、ステップS209aと同様である。例えば、図8(a)に示す設定内容の場合、bチャンネル信号より1フレーム期間が長いのは、フレームレートの最も低いc、dチャンネル信号であり、それらの1フレーム期間は1/30秒である。この時点でc、dチャンネル信号の1フレーム信号の読み出しが完了していなければ、制御部106は、ステップS202bに処理を戻して、再び、次のフレーム信号の露光・読み出しを繰り返す。この動作は、c、dチャンネル信号の1フレーム信号の読み出しが完了するまで繰り返される。
c、dチャンネルに対応する処理については図示しないが、a、bチャンネルに対応する処理と同様である。なお、被写体3、4の移動速度が低速から中速に増しているため、ステップS208に相当する処理では、チャンネルプリ設定領域に設定されるc、dチャンネルのレート条件は60fpsとされる。
全てのチャンネル信号が、最低限1フレームの読み出しを完了したところで、ステップS210に処理が移行する。そして、このフレーム信号の読み出しの期間に、a、b、c、dチャンネルごとに分離された撮像信号は、各種付帯情報を伴うストリーム信号A、B、C、Dとして、外部IF111を介してカメラ601から中央制御装置610に出力される。また、チャンネルごとに分離された撮像信号に基づき生成された動画像の符号化データが順次、画像記録部110に転送して記録される。
ステップS210では、制御部106は、操作部108のマルチアングル撮影の終了ボタンが押下されたか否かを判別する。そして、制御部106は、マルチアングル撮影の終了ボタンが押下されていなければ、処理をステップS201に戻す。このようにして、ステップS210にて操作部108のマルチアングル撮影の終了ボタンが押下されるまで、各チャンネルのフレーム単位の撮像信号の取り込み動作は継続する。ステップS210からステップS201に戻った場合、制御部106は、その時点でチャンネルプリ設定領域の設定内容(ステップS208で生成されたもの)に従って、チャンネルごとのフレームレートと出力レーン構成とを更新する。これにより、全チャンネルの1フレーム分の信号の読み出し完了を待って、フレームレートと出力レーン構成とが更新される。
ステップS210で、マルチアングル撮影の終了ボタンが押下されると、制御部106は、図10の処理を終了する。以上、カメラ601の動作について説明したが、他のカメラ602、カメラ603についても基本的な動作は同様である。
本実施の形態によれば、簡単な構成で、被写体ごとのマルチアングル合成を可能にすることに関し、第1の実施の形態と同様の効果を奏することができる。また、制御部106は、移動速度が変化した被写体については、その移動速度に変化に基づいて、当該被写体を特定する識別コードを対応付けるストリーム信号を変更する。これにより、被写体の動きに追従して撮りこぼしの少ない撮影が可能となる。
また、制御部106は、一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別コードが対応付けられているストリーム信号の出力を休止するので、適切な合成を期待でいないような場合に無駄な信号出力を回避できる。しかも、制御部106は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更する。これによりリソースを有効活用できる。
(第3の実施の形態)
第2の実施の形態では、マルチアングル撮影時の各ストリームのフレームレートおよび出力レーン構成を、個々のカメラごとに被写体の数や移動速度といった被写体の性質に合わせて可変させた。しかし、個々のカメラの配置条件によっては被写体の見え方が異なることから、同一の被写体に対する撮影視野への出入りの判断や移動速度の検出結果がカメラごとに異なる場合も発生し得る。そこで、本発明の第3の実施の形態では、フレームレートおよび出力レーン構成を、カメラごとに個別に可変にするのではなく、同じ識別コードに対応するストリーム信号に対して、全てのカメラでフレームレートおよび出力レーン構成を一致させる。
中央制御装置610は、カメラのそれぞれから各被写体の移動速度を取得し、取得した移動速度に基づいて、カメラの各々においてストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を指定する共通の情報を指定情報として生成する。そして中央制御装置610は、生成した指定情報を各カメラに一斉に送信する。このことを、図11、図12を用いて説明する。
図11(a)、(b)、(c)は、カメラ601、602、603の各々における、マルチアングル撮影時におけるストリーム信号のフレームレートおよび出力レーン構成を例示する図である。図11(d)は、各カメラで共通のフレームレートおよび出力レーン構成を例示する図である。
図9(a)で、3台のカメラ601、カメラ602、カメラ603から捉えた被写体の見え方は厳密には異なる。例えば、カメラ602にとって被写体2は近距離にあるため、カメラ601、カメラ603に比べて見かけ上の移動量が大きく、移動速度が高く検出される。逆に、被写体3と被写体4は遠距離にあるため、カメラ601、カメラ603に比べて移動量が小さく移動速度が低く検出される。また、被写体1は、カメラ602では辛うじて撮影視野内に含まれるが、カメラ601、カメラ603では撮影視野外となる。
図9(a)に示す状況において、マルチアングル撮影時の一局面においては、各カメラにおいて、図11(a)、(b)、(c)に示すようなフレームレートおよび出力レーン構成が発生し得る。このような場合に、本実施の形態では、中央制御装置610から送信される指定情報に基づいて各カメラが設定を更新することで、図11(d)に示すように、全てのカメラで共通のフレームレートおよび出力レーン構成が得られるようにする。
図12は、中央制御装置610で実行される指定情報送信処理のフローチャートである。この処理は、中央制御装置610において、ROM612に格納された制御プログラムをCPU611がRAM613に読み出して実行することにより実現される。
まず、ステップS301では、中央制御装置610は、全カメラから、全チャンネルの1フレーム分のストリーム信号を受信したか否かを判別する。すなわち、接続された全カメラの全チャンネルにおいて図10のステップS209の判別結果がYesになることでステップS301はYesとなる。そして全カメラから、全チャンネルの1フレーム分のストリーム信号を受信すると、中央制御装置610は、ステップS302で、指定情報を生成する。
上述のように、指定情報には、識別コードとストリーム信号との対応関係を示す情報が含まれる。指定情報にはまた、各ストリーム信号のフレームレート(休止も含む)及び出力レーンの数が含まれる。
上述したように、各カメラでは、図10のステップS209で、全てのチャンネル信号の最低限1フレームの読み出しが完了するとステップS210へ処理が移行する。そしてフレーム信号の読み出しの期間に、チャンネルごとに分離された撮像信号は、各種付帯情報を伴うストリーム信号A、B、C、Dとして各カメラから中央制御装置610に出力される。受信されるストリーム信号には、各カメラで検出された各被写体の移動速度の情報が含まれている。移動速度を元に、指定情報は次のようにして生成される。
まず、中央制御装置610は、いずれかのカメラで、一旦識別した被写体を識別できなくなった場合に、当該被写体を特定する識別コードが対応付けられているストリーム信号の出力を休止するための情報を指定情報に含める。また、中央制御装置610は、全カメラのうち、移動速度のうち最も速い被写体を特定する識別コードを、最も高いフレームレートが設定されたストリーム信号に対応付けるための情報を指定情報に含める。また、中央制御装置610は、一部のストリーム信号の出力を休止する場合は、全ストリーム信号分の出力レーンの合計が予め定めた制限値に収まるように、他のストリーム信号に設定される出力レーンの数を変更するよう、指定情報を生成する。これにより、リソースを有効活用できる。
すなわち、中央制御装置610は、全てのカメラで被写体の動きに追従して撮影ができるように、同一の被写体のストリーム信号に対して、最も速いレート設定のカメラの条件を、全てのカメラの共通の条件として採択する。そうすることで、中央制御装置610では、被写体の動きに追従して、被写体ブレの少ない撮像信号をもとにマルチアングル合成を行うことができる。また、中央制御装置610は、少なくとも1つのカメラで撮影視野外の被写体がある場合には、そのカメラの条件を、全てのカメラの共通の条件として採択する。
次に、ステップS303で、中央制御装置610は、生成した指定情報を全カメラに一斉送信し、処理をステップS301に戻す。各カメラでは、送信されてきた指定情報に基づいて、ストリーム信号のそれぞれに設定されるフレームレート及び出力レーンの数を更新する。すなわち、各カメラは、制御部106内部のチャンネルプリ設定領域における、フレームレート及び出力レーン構成を示す設定値を更新する。各カメラは、図10のステップS210からステップS201に処理が移行すると、チャンネルごとのフレームレート及び出力レーン構成を、チャンネルプリ設定領域に設定されている設定値で更新する。従って、図11(d)に示すように、全カメラで共通の設定状態となる。
具体的には、カメラ601で被写体1が視野外に出たので、カメラ共通のaチャンネルのストリーム信号は、カメラ601での設定に合わせて休止とされる。また、全カメラで検出される被写体のうち、最速の被写体は、カメラ602で検出される被写体2である。従って、カメラ共通のbチャンネルのストリーム信号のフレームレート、出力レーン数は、カメラ602での設定に合わせて120fps、4レーンに設定される。また、次に速い被写体は、カメラ601(またはカメラ603)で検出された被写体3、4である。従って、カメラ共通のc、dチャンネルのストリーム信号の設定については、フレームレート、出力レーン数は、カメラ601での設定に合わせて、60fps、2レーンに設定される。つまり、移動速度の高い方から順に、フレームレートの高いチャンネルに対応付けられる。
なお、図11(d)では、説明の便宜上、全てのカメラで、物理的に割り当てられたa~dチャンネルのストリーム信号ごとに共通のフレームレートおよび出力レーン構成となるとした。しかし、同じ識別コードをもつストリーム信号ごとに共通のフレームレートおよび出力レーン構成となるように設定すればよく、必ずしもa~dチャンネルのストリーム信号ごとに設定を共通化する必要はない。
なお、マルチアングル撮影時に使用されるカメラは、例示した3台とは限らず、さらに多くのカメラが使用される場合も想定される。そこで中央制御装置610は、指定情報の生成に際し、撮影視野外となった被写体の数を考慮してもよい。
複数のカメラの撮像信号を用いてマルチアングル撮影を行う場合に、合成時に要求される立体表現の精度にもよるが、所定台数以上のカメラで同一被写体を捉えることができなければ実用的なマルチアングル合成は実現できない。そこで中央制御装置610は、全カメラのストリーム信号が入力された時点で、撮影視野内にある同一の被写体を検出しているカメラが所定の台数未満となった場合には、その被写体に対応するストリーム信号の休止を全てのカメラの共通の条件として採択してもよい。すなわち中央制御装置610は、同一被写体を識別しているカメラの数が所定数未満となった場合に、当該同一被写体の識別コードが対応付けられているストリーム信号の出力を休止することを示す情報を、指定情報に含める。
また、実用的なマルチアングル合成を実現できるか否かには、同一被写体を捉えることができるカメラがどの位置に配置されているカメラであるかという、カメラの組み合わせも大きく影響してくる。そこで、中央制御装置610は、全カメラのストリーム信号が入力された時点で、撮影視野内にある同一の被写体のストリーム信号をもつカメラの組み合わせ条件に応じて、そのストリーム信号の出力を休止するかどうかを決定してもよい。中央制御装置610には、予め、全てのカメラの配置情報と、撮影視野内でのマルチアングル合成を可能とするカメラの所定の組み合わせの情報とが記憶されている。中央制御装置610は、同一被写体を識別しているカメラの組み合わせが、所定の組み合わせを満たさなくなった場合、当該同一被写体の識別コードが対応付けられているストリーム信号の出力を休止することを示す情報を指定情報に含める。
このように、マルチアングル合成の実現できないストリーム信号について、全てのカメラに共通に休止状態とすることにより、他の被写体のストリーム信号に対して出力レーンのリソースを効率的に割り振ることができる。そして休止したことに応じて、他のストリーム信号のフレームレートも高くすることが可能となる。
本実施の形態によれば、簡単な構成で、被写体ごとのマルチアングル合成を可能にすること、及び、被写体の動きに追従して撮りこぼしの少ない撮影を可能にすることに関し、第2の実施の形態と同様の効果を奏することができる。また、移動速度や視野外への出入りに応じて、同一被写体に対応するフレームレート及び出力レーン構成を、全カメラで共通の設定にすることで、適切なマルチアングル合成を実現すると共に、リソースを有効活用できる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。