JP2011139297A - カメラシステム及び映像信号処理方法 - Google Patents
カメラシステム及び映像信号処理方法 Download PDFInfo
- Publication number
- JP2011139297A JP2011139297A JP2009297931A JP2009297931A JP2011139297A JP 2011139297 A JP2011139297 A JP 2011139297A JP 2009297931 A JP2009297931 A JP 2009297931A JP 2009297931 A JP2009297931 A JP 2009297931A JP 2011139297 A JP2011139297 A JP 2011139297A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- area
- video
- standard
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】2台のカメラが撮像した映像に生じた光軸ズレを補正する場合に、カメラ自体を動かすことなく補正する。
【解決手段】カメラヘッド1a,1bが、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳する場合に、映像を表示する表示部に標準映像信号及び拡大領域映像信号を出力する。操作部35が、標準映像信号によってモニタ部に表示される映像より、カメラヘッド1a,1bが撮像した映像の光軸ズレを調整する操作信号を出力する。水平垂直フィルタ34は、操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、ズレ量に合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力する。
【選択図】図3
【解決手段】カメラヘッド1a,1bが、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳する場合に、映像を表示する表示部に標準映像信号及び拡大領域映像信号を出力する。操作部35が、標準映像信号によってモニタ部に表示される映像より、カメラヘッド1a,1bが撮像した映像の光軸ズレを調整する操作信号を出力する。水平垂直フィルタ34は、操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、ズレ量に合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力する。
【選択図】図3
Description
本発明は、例えば、2台のカメラが撮像した映像から立体(3D)映像を生成する場合に適用して好適なカメラシステム及び映像信号処理方法に関する。
従来、2台のカメラが撮像した映像を合わせ込むことによって立体映像を得る3Dカメラシステムが用いられていた。この3Dカメラシステムは、メカニカルな微調整機能を有する台(Rig)に2台のカメラを設置し、各カメラの光軸に合わせて各カメラが撮像した映像を合わせ込む方式を用いるものである。また、後処理として、撮影済みの素材から、光軸のずれ量を補正した映像を切り出して、元の映像信号フォーマットに拡大する方式がある。
図15は、従来の3Dカメラシステム100の構成例を示す。
3Dカメラシステム100は、2台のカメラ101a,101bと、カメラ101a,101bの動作を制御するカメラ制御装置102a,102bと、2枚の映像から3D映像を演算する3D映像演算装置103と、カメラ101a,101b毎に動作を制御するコントロールパネル104a,104bと、を備える。各カメラ制御装置102a,102bにはリファレンス信号が直接入力し、各カメラ101a,101bは、撮像した映像をカメラ制御装置102a,102bと、3D映像演算装置103を介して外部の機器に直接出力する。
3Dカメラシステム100は、2台のカメラ101a,101bと、カメラ101a,101bの動作を制御するカメラ制御装置102a,102bと、2枚の映像から3D映像を演算する3D映像演算装置103と、カメラ101a,101b毎に動作を制御するコントロールパネル104a,104bと、を備える。各カメラ制御装置102a,102bにはリファレンス信号が直接入力し、各カメラ101a,101bは、撮像した映像をカメラ制御装置102a,102bと、3D映像演算装置103を介して外部の機器に直接出力する。
特許文献1には、視差の付いた2個以上の映像に生じた映像間の位置ズレや回転ズレを調整して立体映像を得る技術が開示されている。
ところで、上述した光軸を合わせ込む方式、又は元の映像信号フォーマットに拡大する方式のいずれの方式を用いても、3Dカメラシステムを構成するためにコストと手間が掛かってしまう。また、映像の一部を切り出して拡大すると、カメラが撮像した時点におけるオリジナルな高解像度の映像を有効に活用できず、低解像度な映像しか得られない。しかし、これらの方式によって映像の光軸ズレを補正しなければ、3D映像の品質が低下してしまう。また、光軸ズレを補正するために2台のカメラについて、それぞれ向きや高さを変えても、ズームの変化によって再び光軸ズレが発生しやすく、映像を合わせ込むための手間は低減されない。
本発明はこのような状況に鑑みて成されたものであり、2台のカメラが撮像した映像に生じた光軸ズレを補正して、映像を合わせ込む作業を容易に行えるようにすることを目的とする。
本発明は、標準映像信号を出力する有効映像領域と、有効映像領域より水平及び垂直方向に広い拡大領域を含み、有効映像領域から標準映像信号を出力し、拡大領域から拡大領域映像信号を出力する撮像素子を有する第1及び第2のカメラが、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送する場合に、映像を表示する表示部に標準映像信号及び拡大領域映像信号を出力する。
次に、標準映像信号によって表示部に表示される映像より、第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する。
そして、操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力するものである。
次に、標準映像信号によって表示部に表示される映像より、第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する。
そして、操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力するものである。
このようにしたことで、カメラが撮像した映像の解像度を低下させることなく、2枚の映像の光軸合わせを行うことが可能となった。
本発明によれば、カメラが映像信号を有効映像領域と拡大領域に取り込んで伝送し、受け取った映像信号を用いて、光軸ズレの合わせ込みを行うことができる。このとき、有効映像領域における光軸ズレを拡大領域まで広げて合わせ込みを行える。このため、映像の調整に際し、カメラの調整をメカニカルに行う必要がなくなる。また、撮像面での映像領域を移動させることによって、映像の調整を行うため、レンズの光軸の位置を2台のカメラで合わせることが容易となり、映像の拡大を行わないため、補正前後の映像の解像度を同等とすることが可能となる。
また、複数台の(3D)カメラによるシステム運用を行う場合、あるいは、カメラと、コントロールパネルや映像信号を受け取る機器との間を長距離延長したい場合には、カメラ制御装置(CCU)、映像演算装置を備えたシステム構成とすることができる。このため、カメラ側への配線を減らし、ライブシステムカメラなどの複数台のカメラの連携撮影での運用をより柔軟に行うことができる。これは、3Dカメラでも従来の2D撮影と同様のシステムカメラ構成を可能にするものである。
また、複数台の(3D)カメラによるシステム運用を行う場合、あるいは、カメラと、コントロールパネルや映像信号を受け取る機器との間を長距離延長したい場合には、カメラ制御装置(CCU)、映像演算装置を備えたシステム構成とすることができる。このため、カメラ側への配線を減らし、ライブシステムカメラなどの複数台のカメラの連携撮影での運用をより柔軟に行うことができる。これは、3Dカメラでも従来の2D撮影と同様のシステムカメラ構成を可能にするものである。
以下、発明を実施するための最良の形態(以下実施の形態とする。)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(映像の光軸ズレ補正:カメラアダプタ装置とカメラヘッドが連動して、映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例)
2.第2の実施の形態(映像の光軸ズレ補正:カメラ制御装置又は3D映像演算装置が映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例)
3.変形例
1.第1の実施の形態(映像の光軸ズレ補正:カメラアダプタ装置とカメラヘッドが連動して、映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例)
2.第2の実施の形態(映像の光軸ズレ補正:カメラ制御装置又は3D映像演算装置が映像領域を拡大して撮像した映像を用いて、光軸のずれを補正する例)
3.変形例
<1.第1の実施の形態>
[3Dカメラシステムの構成例]
[3Dカメラシステムの構成例]
以下、本発明の第1の実施の形態について、図1〜図11を参照して説明する。本実施の形態では、2台のカメラヘッド1a,1bに撮像動作を指示し、カメラヘッド1a,1bが撮像した映像を外部の装置に出力するカメラアダプタ装置2を備えた3Dカメラシステム10に適用した例について説明する。
図1は、3Dカメラシステム10の構成例を示す。
3Dカメラシステム10は、カメラヘッド1a,1bと、カメラアダプタ装置(CAB:Camera Adaptor Box)2と、を備える。カメラアダプタ装置2は、ビューファインダ信号によってカメラヘッド1a,1bから受け取った映像を表示するビューファインダ部6を備える。
3Dカメラシステム10は、カメラヘッド1a,1bと、カメラアダプタ装置(CAB:Camera Adaptor Box)2と、を備える。カメラアダプタ装置2は、ビューファインダ信号によってカメラヘッド1a,1bから受け取った映像を表示するビューファインダ部6を備える。
カメラアダプタ装置2と不図示の外部機器は、カメラケーブル5によって接続される。そして、カメラアダプタ装置2は、カメラヘッド1a,1bから入力する映像をまとめて不図示の外部機器に伝送する。カメラケーブル5には、大容量の光デジタル信号を伝送可能な広帯域デジタル光伝送路が用いられており、本例では、従来の1.5Gbpsデータレートに対して、3.7Gbpsのデータレートの光伝送を想定している。ただし、映像データを圧縮し、狭帯域(従来通り)で伝送する事も可能である。
カメラアダプタ装置2は、必要に応じて、カメラヘッド1a,1bから入力する映像を反転させたり、出力信号を同相に合わせる為の遅延を加えたりする処理を施す。そして、カメラアダプタ装置2は、技術者が操作するコントロールパネル7によって、動作が制御される。
図2は、カメラヘッド1a,1bが設置される設置台(RIG)8の構成例を示す。
図2Aは、設置台8を横方向から視認した場合におけるカメラヘッド1a,1bの構成例を示す。
基本的には、カメラヘッド1a,1bのズームを1倍とし、レンズの間隔を人間の眼に合わせてカメラヘッド1a,1bを配置したときに撮像した映像から得られる立体映像は自然に見えることが知られている。しかし、カメラヘッド1a,1bの筐体は大きいため、そのまま横方向に並べると人間より広い視差で被写体を撮像してしまい、立体映像に違和感が生じてしまう。このため、設置台8は、ハーフミラー9を備える。そして、被写体の像光がハーフミラー9を透過して直接入力する位置にカメラヘッド1aを配置し、被写体の像光がハーフミラー9に反射して入力する位置にカメラヘッド1bを配置する。これにより、カメラヘッド1a,1bが備えるレンズの光軸が垂直に交わるように、カメラヘッド1a,1bが設置される。
図2Aは、設置台8を横方向から視認した場合におけるカメラヘッド1a,1bの構成例を示す。
基本的には、カメラヘッド1a,1bのズームを1倍とし、レンズの間隔を人間の眼に合わせてカメラヘッド1a,1bを配置したときに撮像した映像から得られる立体映像は自然に見えることが知られている。しかし、カメラヘッド1a,1bの筐体は大きいため、そのまま横方向に並べると人間より広い視差で被写体を撮像してしまい、立体映像に違和感が生じてしまう。このため、設置台8は、ハーフミラー9を備える。そして、被写体の像光がハーフミラー9を透過して直接入力する位置にカメラヘッド1aを配置し、被写体の像光がハーフミラー9に反射して入力する位置にカメラヘッド1bを配置する。これにより、カメラヘッド1a,1bが備えるレンズの光軸が垂直に交わるように、カメラヘッド1a,1bが設置される。
図2Bは、図2Aの矢印方向から視認した場合におけるハーフミラー9の見え方の例を示す。
カメラヘッド1a,1bは、人間の視差から求まる幅で横方向にずらして設置台8に設置される。このため、ハーフミラー9に透過して写るカメラヘッド1aのレンズと、ハーフミラー9に反射して写るカメラヘッド1bのレンズは、横方向にずれていることが示される。このように、設置台8にハーフミラー9を設けることによって、人間の視差に合わせてカメラヘッド1a,1bを設置することができ、得られる立体映像に違和感が生じなくなる。
カメラヘッド1a,1bは、人間の視差から求まる幅で横方向にずらして設置台8に設置される。このため、ハーフミラー9に透過して写るカメラヘッド1aのレンズと、ハーフミラー9に反射して写るカメラヘッド1bのレンズは、横方向にずれていることが示される。このように、設置台8にハーフミラー9を設けることによって、人間の視差に合わせてカメラヘッド1a,1bを設置することができ、得られる立体映像に違和感が生じなくなる。
図3は、3Dカメラシステム10の内部構成例を示す。
カメラヘッド1aは、映像信号を出力するセンサ部11を備える。センサ部11は、CCD(Charge Coupled Devices)イメージャ又はCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子により構成される。この撮像素子は、標準映像信号を出力する有効映像領域と、有効映像領域より水平及び垂直方向に広い拡大領域を含み、有効映像領域から標準映像信号を出力し、拡大領域から拡大領域映像信号を出力する。
カメラヘッド1aは、映像信号を出力するセンサ部11を備える。センサ部11は、CCD(Charge Coupled Devices)イメージャ又はCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子により構成される。この撮像素子は、標準映像信号を出力する有効映像領域と、有効映像領域より水平及び垂直方向に広い拡大領域を含み、有効映像領域から標準映像信号を出力し、拡大領域から拡大領域映像信号を出力する。
また、カメラヘッド1aは、センサ部11が出力する映像信号に所定の処理を加えて、カメラアダプタ装置2に処理後の映像信号を出力するカメラビデオプロセッサ12と、伝送領域を拡大して映像信号を拡大領域に重畳するビデオプロセッサ13と、を備える。ビデオプロセッサ13は、入力する映像信号の水平及び垂直方向にフィルタを掛ける水平垂直フィルタ15を備える。また、カメラヘッド1aは、ビデオプロセッサ13から出力されるパラレル映像信号をシリアル映像信号に変換して、このシリアル映像信号を出力するシリアライザ14を備える。カメラヘッド1aとカメラアダプタ装置2との間に伝送される映像信号は、SDI伝送フォーマットに基づいて、有効映像領域と拡大領域に重畳される。
なお、カメラヘッド1bは、カメラヘッド1aと同様の構成としてあるため、対応する処理ブロックには同一符号を付し、詳細な説明を省略する。
なお、カメラヘッド1bは、カメラヘッド1aと同様の構成としてあるため、対応する処理ブロックには同一符号を付し、詳細な説明を省略する。
カメラヘッド1a,1bは、被写体を撮像する際にカメラヘッド1a,1bに設定される撮像条件情報を、後述するステータスインタフェース部24を介してビデオプロセッサ22に送る撮像条件情報出力部16を備える。撮影条件情報には、レンズステータス、設置台8の傾き等の情報が含まれており、ビデオプロセッサ22から、カメラヘッド1a,1bが備えるビデオプロセッサ13にも送られる。
カメラアダプタ装置2は、カメラヘッド1a,1bから入力するシリアル映像信号をパラレル映像信号に変換する2個のデシリアル21と、デシリアル21から入力するカメラヘッド1a,1bのパラレル映像信号に基づいて、映像の光軸合せを行うビデオプロセッサ22と、光軸合わせが行われた映像信号をシリアル映像信号に変換して出力するシリアライザ23と、を備える。また、撮像条件情報出力部16から撮像条件情報を受け取るステータスインタフェース部24を備えており、水平垂直フィルタ25(又は、水平垂直フィルタ15)は、ステータスインタフェース部24を介して入力した撮像条件情報に基づいて、標準映像信号を抽出する。
次に、各部の動作を説明する。
カメラヘッド1a,1bは、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、カメラアダプタ装置2に標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送する。この標準映像信号と拡大領域映像信号の伝送フォーマットに対する重畳処理は、カメラビデオプロセッサ12によって行われる。そして、ビデオプロセッサ13、又はビデオプロセッサ22がビューファインダ部6に標準映像信号及び拡大領域映像信号を出力する映像出力部として機能する。
カメラヘッド1a,1bは、標準映像信号及び拡大領域映像信号を伝送する所定の伝送フォーマットにより、カメラアダプタ装置2に標準映像信号を伝送すると共に、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送する。この標準映像信号と拡大領域映像信号の伝送フォーマットに対する重畳処理は、カメラビデオプロセッサ12によって行われる。そして、ビデオプロセッサ13、又はビデオプロセッサ22がビューファインダ部6に標準映像信号及び拡大領域映像信号を出力する映像出力部として機能する。
そして、水平垂直フィルタ15,25は、コントロールパネル7から受け取った操作信号に基づいて2枚の映像の光軸ズレを調整する。このとき、水平垂直フィルタ15,25は、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から所望の範囲の標準映像信号を抽出し、抽出された標準映像信号を出力する映像信号抽出部として機能する。そして、水平垂直フィルタ15,25は、有効映像領域に対して垂直方向、水平方向又は回転方向に含まれる拡大領域映像信号を切り出して標準映像信号を抽出する機能を有する。
ここで、カメラヘッド1a,1bが備えるビデオプロセッサ13の水平垂直フィルタ15が光軸ズレの調整を行う場合、ビデオプロセッサ22が備える水平垂直フィルタ25はバイパスされる。一方、ビデオプロセッサ22が備える水平垂直フィルタ25が光軸ズレの調整を行う場合、カメラヘッド1a,1bが備えるビデオプロセッサ13の水平垂直フィルタ15はバイパスされる。このように、水平垂直フィルタ15,25は、一方がフィルタリング動作を行うと、他方が処理をバイパスする関係にある。また、水平垂直フィルタ15,25は、映像信号を水平垂直方向にフィルタリングすることによって、画素単位以下でサンプル位相を変換するオフセット機能を有する。
カメラヘッド1a,1bが出力する映像信号は、ビデオプロセッサ13、シリアライザ14を介して、シリアル映像信号に変換され、カメラアダプタ装置2に出力される。ここで、ビデオプロセッサ13が備える水平垂直フィルタ15は、入力したパラレル映像信号に水平垂直フィルタを掛けて、任意の位相とした映像信号を、シリアライザ14を介してシリアル映像信号に変換して出力する。
カメラアダプタ装置2は、カメラヘッド1a,1bから受け取ったシリアル映像信号を、デシリアル21を介してパラレル映像信号に変換する。ビデオプロセッサ22は、パラレル映像信号をビューファインダ部6に出力し、ビューファインダ部6は、カメラヘッド1a,1bが撮像した映像を表示する。技術者は、ビューファインダ部6に表示された映像を見ながらコントロールパネル7を操作して、映像の光軸合わせを行う。このとき、コントロールパネル7は、カメラヘッド1a,1bが出力する標準映像信号によってビューファインダ部6に表示される映像より、カメラヘッド1a,1bが撮像した映像の光軸ズレを調整する操作信号を出力する。
また、ビデオプロセッサ22には、カメラヘッド1a,1bからステータスインタフェース部24を介して撮像条件情報が入力されるため、技術者は、どのような条件でカメラヘッド1a,1bが被写体を撮像しているのかを知ることができる。そして、ビデオプロセッサ22は、光軸合わせを行った映像を、シリアライザ23を介してシリアル映像信号に変換し、外部機器に出力する。なお、光軸合わせを行っている最中は、ビューファインダ部6が表示する映像の傾き、水平位置等が適宜変化する。また、ビューファインダ部6には、後述するように各種の映像(差分映像等)を表示されるため、技術者は、2枚の映像の光軸合わせを容易に行うことができる。
上述したとおり、コントロールパネル7が光軸合わせを行う指示は、ビデオプロセッサ22を介して、カメラヘッド1a,1bが備えるビデオプロセッサ13に直接行うことも可能である。この場合、ビデオプロセッサ13が備える水平垂直フィルタ15によって、カメラビデオプロセッサ12から入力する映像信号の位相が変化する。そして、位相が変化した映像信号がカメラアダプタ装置2に入力し、ビューファインダ部6は、カメラヘッド1a,1bが光軸合わせを行った映像を表示する。
このように、カメラヘッド1a,1bとカメラアダプタ装置2は、水平垂直フィルタ15,25をそれぞれ備えるため、センサ部11から受け取る映像信号の解像度を維持したまま、センサ部11で定められる有効映像領域が広い映像データを再構築できる。そして、ビデオプロセッサ13,22は、映像中心をずらして信号フォーマットの有効映像領域を切り出すことによって、2枚の映像の光軸ずれを補正することが可能となる。
また、図2に示したように、設置台8の構成が映像反転を必要とするRig方式である場合、カメラヘッド1a,1bの撮像タイミングと映像出力タイミングの双方を一致させる必要がある。このため、カメラアダプタ装置2は、映像反転機能と共に、映像遅延機能も有する。ただし、映像反転機能と共に、映像遅延機能については、カメラヘッド1a,1b又はカメラアダプタ装置2のいずれが有していても構わない。
また、カメラヘッド1a,1bは、センサ部11がC−MOSセンサの様な、線走査撮像(CCDイメージャは像面走査方式)の場合、映像が上下反転時に、走査する上下方向の順番を変更する機能を搭載する。このため、カメラアダプタ装置2は、ローリングシャッター効果による映像歪みの方向を合わせることが出来る。
このとき、ビデオプロセッサ22はカメラヘッド1a,1bのうち、いずれか一方のカメラから受け取った映像を他方のカメラから受け取った映像に合わせて垂直方向に反転させて、映像を出力する。そして、ビデオプロセッサ22は、他方のカメラに対して、撮像タイミングを1画面分遅延させて、撮像タイミング信号を出力する。
図4は、水平垂直フィルタ15,25の内部構成例を示す。
図4Aは、水平フィルタ係数a、垂直フィルタ係数Aとした場合における水平垂直フィルタ15,25の動作例を示す。
水平垂直フィルタ15,25は、それぞれ、水平垂直フィルタ15,25を備える。ここで、水平垂直フィルタ15,25は、それぞれ、水平フィルタ26、メモリ27及び垂直フィルタ28によって構成される。
図4Aは、水平フィルタ係数a、垂直フィルタ係数Aとした場合における水平垂直フィルタ15,25の動作例を示す。
水平垂直フィルタ15,25は、それぞれ、水平垂直フィルタ15,25を備える。ここで、水平垂直フィルタ15,25は、それぞれ、水平フィルタ26、メモリ27及び垂直フィルタ28によって構成される。
水平フィルタ26には、水平フィルタ係数aが入力され、入力した映像信号に対して、水平方向のフィルタリングがなされて、メモリ27に書き込まれる。そして、垂直フィルタ28には、垂直フィルタ係数Aが入力され、メモリ27から読み出された映像信号に対して、垂直方向のフィルタリングがなされて出力される。
ここで、水平垂直フィルタ15,25は、入力された映像信号のサンプル位相を変更することが可能である。これは、アナログ映像的に考えた場合、フィルタ処理で、群遅延を与える場合に相当する。そして、水平垂直フィルタ15,25が行う処理は、クロック単位以下の位相変化を与えるフィルタ処理となる。
具体的には、水平垂直フィルタ15,25は、何倍かのオーバーサンプリングをして、そこから必要なサンプル位相に相当するデータだけを抜き出す。このため、サンプル位相の位置を1ドット以下で調整することが可能である。
実際には、水平垂直フィルタ15,25は、オーバーサンプリング処理を行わず、直接、サンプル位相からずれたサンプル位相のドット位置をフィルタ計算で算出する。
実際には、水平垂直フィルタ15,25は、オーバーサンプリング処理を行わず、直接、サンプル位相からずれたサンプル位相のドット位置をフィルタ計算で算出する。
ここで、従来のカメラアダプタ装置が行っていた映像信号の切り出し処理について説明する。
従来のカメラアダプタ装置は、フィルタの係数を変えることにより、受け取った映像信号に任意の位相を与える。ただし、従来のカメラアダプタ装置は、カメラヘッドから規定の有効映像領域が出力する映像信号しか受け取っていない。このため、ビデオプロセッサ13,22は、有効映像領域の範囲内で光軸ズレの補正を行っていた。
従来のカメラアダプタ装置は、フィルタの係数を変えることにより、受け取った映像信号に任意の位相を与える。ただし、従来のカメラアダプタ装置は、カメラヘッドから規定の有効映像領域が出力する映像信号しか受け取っていない。このため、ビデオプロセッサ13,22は、有効映像領域の範囲内で光軸ズレの補正を行っていた。
この映像領域を切り出すために、例えば、以下の方法が用いられる。
・映像を拡大して切り出す。
・隅の映像をぼかす。
・映像が無い方に合わせて、切り出す。
・映像を拡大して切り出す。
・隅の映像をぼかす。
・映像が無い方に合わせて、切り出す。
ここで、本例のカメラヘッド1a,1bが備えるビデオプロセッサ13又はカメラアダプタ装置2が備えるビデオプロセッサ22を用いると、有効映像領域の調整範囲を柔軟に設定できる。ただし、センサ部11とカメラビデオプロセッサ12が映像信号を入れる有効映像領域と拡大領域に、標準映像信号と拡大領域映像信号を重畳して出力するに際し、ビデオプロセッサ13,22は、映像の拡大と切り出さずに光軸を合わせている。このため、拡大領域以上の補正を行うと、映像の隅が切れてしまう。この場合は、例えば、隅の映像をぼかすことで、視認性に影響が生じさせない処理を行う。
図4Bは、水平フィルタ係数z、垂直フィルタ係数Zとした場合における水平垂直フィルタ15,25の動作例を示す。
図4Bに示す水平垂直フィルタ15,25は、各フィルタ係数が異なること以外は、図4Aに示す水平垂直フィルタ15,25の構成と同様である。
図4Bに示す水平垂直フィルタ15,25は、各フィルタ係数が異なること以外は、図4Aに示す水平垂直フィルタ15,25の構成と同様である。
水平フィルタ26には、水平フィルタ係数zが入力され、入力した映像信号に対して、水平方向のフィルタリングがなされて、メモリ27に書き込まれる。そして、垂直フィルタ28には、垂直フィルタ係数Zが入力され、メモリ27から読み出された映像信号に対して、垂直方向のフィルタリングがなされて出力される。
図5は、1920サンプル×1080ラインの映像信号を規定する画素フォーマットの例を示す。
センサ部11とカメラビデオプロセッサ12が出力する映像信号の画素フォーマットは、従来の1920サンプル×1080ラインの映像信号が含まれる領域を有効映像領域とし、この有効映像領域より数サンプル分拡大した領域を拡大領域と設定している。本例では、拡大領域を、2200サンプル×1100ラインとしている。つまり、拡大領域は、水平方向には、有効映像領域の左右に20サンプルずつ拡大し、垂直方向には、有効映像領域の上下に10ラインずつ拡大した領域となる。
センサ部11とカメラビデオプロセッサ12が出力する映像信号の画素フォーマットは、従来の1920サンプル×1080ラインの映像信号が含まれる領域を有効映像領域とし、この有効映像領域より数サンプル分拡大した領域を拡大領域と設定している。本例では、拡大領域を、2200サンプル×1100ラインとしている。つまり、拡大領域は、水平方向には、有効映像領域の左右に20サンプルずつ拡大し、垂直方向には、有効映像領域の上下に10ラインずつ拡大した領域となる。
図6は、映像信号を伝送するための伝送フォーマットの例を示す。
この伝送フォーマットでは、有効映像領域における1920サンプル×1080ラインの映像信号を伝送するための領域が設けられている。そして、有効映像領域の周囲には、拡大領域における映像信号を伝送するための領域が設けられている。
この伝送フォーマットでは、有効映像領域における1920サンプル×1080ラインの映像信号を伝送するための領域が設けられている。そして、有効映像領域の周囲には、拡大領域における映像信号を伝送するための領域が設けられている。
図7は、デジタル信号の伝送フォーマットの例を示す。
デジタル信号の伝送フォーマットには、例えば、SDIフォーマットが用いられる。この伝送フォーマットでは、1920サンプル×1080ラインの映像信号を伝送するための領域と、この領域の左右に設けられた、タイミングリファレンスコード(SAV,EAV等)、オーディオデータ、AUXデータを伝送する領域が設けられている。カメラヘッド1a,1bがデジタル映像信号を出力する際には、Vブランキング区間にブランキングを掛けない。一方、Hブランキング区間のデータは、タイミングリファレンスコード(SAV,EAV等)やオーディオデータをつぶさないように、補助データ領域に重畳して伝送する。本例では、拡大領域と拡大領域の差分に相当する映像信号を、図中のグレーで塗りつぶされる補助データ領域に重畳して伝送している。
デジタル信号の伝送フォーマットには、例えば、SDIフォーマットが用いられる。この伝送フォーマットでは、1920サンプル×1080ラインの映像信号を伝送するための領域と、この領域の左右に設けられた、タイミングリファレンスコード(SAV,EAV等)、オーディオデータ、AUXデータを伝送する領域が設けられている。カメラヘッド1a,1bがデジタル映像信号を出力する際には、Vブランキング区間にブランキングを掛けない。一方、Hブランキング区間のデータは、タイミングリファレンスコード(SAV,EAV等)やオーディオデータをつぶさないように、補助データ領域に重畳して伝送する。本例では、拡大領域と拡大領域の差分に相当する映像信号を、図中のグレーで塗りつぶされる補助データ領域に重畳して伝送している。
図8は、光軸ズレの例を示す。
図8Aは、カメラヘッド1a,1bが被写体51〜53を撮像する様子の例を示す。
設置台8を無視して配置したカメラヘッド1a,1bには、視差が与えられており、互いの光軸も異なることが示される。ここで、被写体51〜53には、所定のマーク及び図形が記されており、カメラヘッド1a,1bに対して、設置される距離が異なる。
図8Aは、カメラヘッド1a,1bが被写体51〜53を撮像する様子の例を示す。
設置台8を無視して配置したカメラヘッド1a,1bには、視差が与えられており、互いの光軸も異なることが示される。ここで、被写体51〜53には、所定のマーク及び図形が記されており、カメラヘッド1a,1bに対して、設置される距離が異なる。
図8Bは、光軸ズレがある場合における映像の表示例を示す。
カメラヘッド1a,1bは、水平方向だけでなく、垂直方向にもずれている。このため、合成映像は、2つの映像が互いに水平方向と垂直方向にずれており、3D映像として非常に見えづらくなってしまう。
カメラヘッド1a,1bは、水平方向だけでなく、垂直方向にもずれている。このため、合成映像は、2つの映像が互いに水平方向と垂直方向にずれており、3D映像として非常に見えづらくなってしまう。
図8Cは、光軸ズレがない場合における映像の表示例を示す。
カメラヘッド1aが撮像した右チャンネル映像と、カメラヘッド1bが撮像した左チャンネル映像は、カメラヘッド1a,1bの視差が異なるため、水平方向にわずかにずれる。そして、右チャンネル映像と左チャンネル映像を合成すると、光軸が交わる被写体52に描かれたマークのズレがなくなり、手前側の被写体51に描かれたマークのずれが、遠方側の被写体53に描かれたマークのずれより大きくなることが分かる。この場合、3D映像として適した映像を出力することができる。この光軸ズレの補正は、技術者が合成映像を見ながら、例えば、固定した右チャンネルの映像に合わせて左チャンネルの映像を動かすことによって行われる。
カメラヘッド1aが撮像した右チャンネル映像と、カメラヘッド1bが撮像した左チャンネル映像は、カメラヘッド1a,1bの視差が異なるため、水平方向にわずかにずれる。そして、右チャンネル映像と左チャンネル映像を合成すると、光軸が交わる被写体52に描かれたマークのズレがなくなり、手前側の被写体51に描かれたマークのずれが、遠方側の被写体53に描かれたマークのずれより大きくなることが分かる。この場合、3D映像として適した映像を出力することができる。この光軸ズレの補正は、技術者が合成映像を見ながら、例えば、固定した右チャンネルの映像に合わせて左チャンネルの映像を動かすことによって行われる。
図9は、ビデオプロセッサ13,22が備える水平フィルタ26が映像の光軸ズレを補正するフィルタリング処理の例を示す。
水平フィルタ26は、センサ部11の撮像画素の配置に合わせて等間隔に入力した映像信号に水平方向のフィルタリング処理を行って、各画素における映像信号の位相を変える。このフィルタリング処理によって、水平方向に配置された画素が出力する映像信号が、位相の異なる画素位置の映像信号に変換される。このため、技術者は、映像が移動する垂直方向及び水平方向における距離を単位画素未満の長さとする、微細な映像調整を行うことができる。
水平フィルタ26は、センサ部11の撮像画素の配置に合わせて等間隔に入力した映像信号に水平方向のフィルタリング処理を行って、各画素における映像信号の位相を変える。このフィルタリング処理によって、水平方向に配置された画素が出力する映像信号が、位相の異なる画素位置の映像信号に変換される。このため、技術者は、映像が移動する垂直方向及び水平方向における距離を単位画素未満の長さとする、微細な映像調整を行うことができる。
図10と図11は、ビューファインダ部6に表示される映像の例を示す。
カメラアダプタ装置2は、ビューファインダ信号として、カメラヘッド1aの出力映像,カメラヘッド1bの出力映像,カメラヘッド1a,1bの出力映像のミックス映像,カメラヘッド1a,1bの出力映像の差分映像等を選択して、ビューファインダ部6に表示させることができる。
カメラアダプタ装置2は、ビューファインダ信号として、カメラヘッド1aの出力映像,カメラヘッド1bの出力映像,カメラヘッド1a,1bの出力映像のミックス映像,カメラヘッド1a,1bの出力映像の差分映像等を選択して、ビューファインダ部6に表示させることができる。
そして、技術者は、ビューファインダ部6に表示されたメニューインタフェースを操作して行うか、カメラアダプタ装置2に取り付けられたロータリースイッチで選択するか、又は、プッシュスイッチに割り振って選択するか、プッシュスイッチで順次送りにするかを、選択することによって、ビューファインダ部6に表示させる映像を選択することができる。また、不図示のカメラ制御装置(後述する図13参照)等から受け取る要求に応じて、ビューファインダ部6に表示する映像をリターン信号と切り替えて出力することが出来る。さらに、ビューファインダ部6が立体映像を表示可能であれば、左右チャンネルから出力される2チャンネル分の映像を表示させることもでき、このための選択メニューを加えることもできる。
図10Aは、カメラヘッド1aが出力する右チャンネルの映像の例を示す。
図10Bは、カメラヘッド1bが出力する左チャンネルの映像の例を示す。
カメラヘッド1a,1bは、ユーザの視差に合わせて設置台8に配置されるため、右チャンネルの映像と左チャンネルの映像には、左右にずれが生じていることが示される。
図10Bは、カメラヘッド1bが出力する左チャンネルの映像の例を示す。
カメラヘッド1a,1bは、ユーザの視差に合わせて設置台8に配置されるため、右チャンネルの映像と左チャンネルの映像には、左右にずれが生じていることが示される。
図10Cは、カメラヘッド1a,1bが出力する映像を混合して表示されるミックス映像の例を示す。
ミックス映像は、カメラヘッド1b(左チャンネル)の輝度信号,色差信号(Lch_Y、Lch_CB、Lch_CR)と、カメラヘッド1a(右チャンネル)の輝度信号,色差信号(Lch_Y、Rch_CB、Rch_CR)を足すことによって、求められる。このミックス映像には、色がついている。
ミックス映像は、カメラヘッド1b(左チャンネル)の輝度信号,色差信号(Lch_Y、Lch_CB、Lch_CR)と、カメラヘッド1a(右チャンネル)の輝度信号,色差信号(Lch_Y、Rch_CB、Rch_CR)を足すことによって、求められる。このミックス映像には、色がついている。
図11Aは、差分映像の例を示す。
差分映像は、カメラヘッド1bが出力する映像信号からカメラヘッド1aが出力する映像信号を減じて得られるグレーの映像である。図11Aには、ビデオチャートを撮像した場合における差分映像が表示されている。このとき、ビューファインダ部6は、カメラヘッド1aが撮像した映像の輝度信号又は色差信号に対するカメラヘッド1bが撮像した映像の輝度信号又は色差信号の差分に基づいて、差分映像を表示する。
差分映像は、カメラヘッド1bが出力する映像信号からカメラヘッド1aが出力する映像信号を減じて得られるグレーの映像である。図11Aには、ビデオチャートを撮像した場合における差分映像が表示されている。このとき、ビューファインダ部6は、カメラヘッド1aが撮像した映像の輝度信号又は色差信号に対するカメラヘッド1bが撮像した映像の輝度信号又は色差信号の差分に基づいて、差分映像を表示する。
差分映像は、カメラヘッド1b(左チャンネル)の輝度信号(Lch_Video)からカメラヘッド1a(右チャンネル)の輝度信号(Rch_Video)を減じることによって、求められる。なお、カメラヘッド1a(右チャンネル)の輝度信号からカメラヘッド1b(左チャンネル)の輝度信号を引くことによって求めてもよい。その後、“2”又は適当な数字で差分値を割り、オフセットとして、適当な値の映像レベル(50%_Video_Level)を足す。
上記の内容を式で表すと以下のようになる。
(Lch_Video-Rch_Video)/2+50%_Video_Level
この結果、輝度のみに注目した差分映像をビューファインダ部6に表示させることができる。
(Lch_Video-Rch_Video)/2+50%_Video_Level
この結果、輝度のみに注目した差分映像をビューファインダ部6に表示させることができる。
同様に、色差データに基づいて差分データを作成することも可能である。このとき、差分は、カメラヘッド1b(左チャンネル)の色差信号(Lch_CB、Lch_CR)からカメラヘッド1a(右チャンネル)の色差信号(Rch_CB、Rch_CR)を減じて求められる。
(Lch_CB-Rch_CB)/2、又は(Lch_CR-Rch_CB)/2
ただし、色差データの場合、0点が中間点であるため、オフセット値を加算する必要はない。また、強調表示するためには、“2”で割らずに、適当な数で掛けて増感しても良い。以上より、差分映像として輝度のみを表示する白黒モードと、色差データを加えたカラーモードをビューファインダ部6に表示させることが可能となる。
(Lch_CB-Rch_CB)/2、又は(Lch_CR-Rch_CB)/2
ただし、色差データの場合、0点が中間点であるため、オフセット値を加算する必要はない。また、強調表示するためには、“2”で割らずに、適当な数で掛けて増感しても良い。以上より、差分映像として輝度のみを表示する白黒モードと、色差データを加えたカラーモードをビューファインダ部6に表示させることが可能となる。
カメラヘッド1a,1bのズームや向きが正しく配置されている場合、映像にズレが生じないため、差分映像には輪郭が表示されない理想的な状態となる。しかし、カメラヘッド1a,1bの配置が異なっていると、2枚の映像にズレが生じてしまい、図11Aの左側に示したように、被写体の輪郭が強調されて表示される。このため、設置台8に設置されたカメラヘッド1a,1bのズームや向きを正しく設定する際に有効な情報となる。
図11Bは、アナグリフ映像の例を示す。
アナグリフ映像は、従来立体映像を見るために用いられてきた映像である。例えば、左眼に赤いセロファンを貼り、右目に青いセロファンを貼った専用のメガネをユーザが掛けることによって、立体映像を確認することができる。
アナグリフ映像は、従来立体映像を見るために用いられてきた映像である。例えば、左眼に赤いセロファンを貼り、右目に青いセロファンを貼った専用のメガネをユーザが掛けることによって、立体映像を確認することができる。
図11Cは、分割映像の例を示す。
ここでは、カメラヘッド1aが出力する映像の右半分と、カメラヘッド1bが出力する映像の左半分を分割し、分割された映像を真ん中でつないで表示する。これにより、技術者は、カメラヘッド1a,1bの設置位置の歪み等を把握し、カメラヘッド1a,1bの水平方向の歪みを合わせることが容易となる。なお、図示しないが、カメラヘッド1aが出力する映像の上半分と、カメラヘッド1bが出力する映像の下半分を分割し、分割された映像を真ん中でつないで表示してもよい。この場合、カメラヘッド1a,1bの垂直方向の歪みを合わせることが容易となる。
ここでは、カメラヘッド1aが出力する映像の右半分と、カメラヘッド1bが出力する映像の左半分を分割し、分割された映像を真ん中でつないで表示する。これにより、技術者は、カメラヘッド1a,1bの設置位置の歪み等を把握し、カメラヘッド1a,1bの水平方向の歪みを合わせることが容易となる。なお、図示しないが、カメラヘッド1aが出力する映像の上半分と、カメラヘッド1bが出力する映像の下半分を分割し、分割された映像を真ん中でつないで表示してもよい。この場合、カメラヘッド1a,1bの垂直方向の歪みを合わせることが容易となる。
以上説明した第1の実施の形態に係る3Dカメラシステム10によれば、2台のカメラによる3D撮像において、撮像素子の有効映像領域が、信号フォーマットよりも広くしたセンサ部11を使い、全画素分のカメラ信号処理を行うカメラヘッド1a,1bを用いる。このとき、ビデオプロセッサ13,22は、有効映像領域と拡大領域を含む撮像素子より、それぞれ標準映像信号と拡大領域映像信号を出力するカメラヘッド1a,1bから各映像信号を受け取る。このとき、拡大領域映像信号は、伝送フォーマットの垂直帰線区間と水平帰線区間に拡大領域映像信号を重畳して伝送される。そして、ビデオプロセッサ13,22は、ビューファインダ部6に標準映像信号と拡大領域映像信号を出力し、映像を表示させる。このとき、技術者は、ビューファインダ部6に表示された映像を見ながらコントロールパネル7を操作して光軸ズレの合わせ込みをカメラヘッド1a,1b又はカメラアダプタ装置2に指示を行う。この指示に基づいて、ビデオプロセッサ13,22が備える水平垂直フィルタ15,25は、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力することによって、映像の合わせ込みを行わせる。
このため、有効映像領域と拡大領域を切り替えることによって、カメラヘッド1a,1bに生じたレンズの光軸の誤差分を補正することが可能となる。このように、技術者は、カメラヘッド1a,1bが設置される設置台8の高さや、カメラヘッド1a,1bの向き等を調整しなくても、ビューファインダ部6に表示された映像を見ながら光軸ズレを補正できる。これにより、拡大領域に格納した映像信号を用いて、光軸のズレを補正した領域を切り出す機能を有するため、コストと手間を削減することが可能となる。
また、ビデオプロセッサ22は、カメラヘッド1a,1bが備える不図示のレンズのズーム等のステータス情報が含まれる撮像条件情報をエンベデッドする。そして、ビデオプロセッサ22は、撮像条件情報に応じた映像出力を行うため、撮像条件情報に合わせて(例えば、レンズの状態)、2枚の映像のレジセンター補正を行うことが出来る。
また、コントロールパネル7による映像の合わせ込みの指示は、ビューファインダ部6に表示された有効映像領域に対して垂直方向、水平方向又は回転方向とすることができる。このとき、水平垂直フィルタ15,25は、指示された方向に含まれる拡大領域映像信号を切り出して標準映像信号として抽出する。このため、技術者は、拡大領域の範囲内における任意の距離で映像の合わせ込みを行うことができ、レジセンター補正の自由度が向上するという効果がある。
また、水平垂直フィルタ15,25は、有効映像領域の垂直方向及び水平方向にフィルタリング処理を行い、標準映像信号の垂直方向及び水平方向における移動の距離は、撮像素子における単位画素未満の長さとすることができる。このため、レジセンター補正の精度が高まり、ユーザにとって違和感の生じない品質を高めた3D映像を得ることができる。
<第2の実施の形態>
次に、本発明の第2の実施の形態に係る3Dカメラシステム40に適用した例について、図12と図13を参照して説明する。
以下の説明において、既に第1の実施の形態で説明した部分には同一符号を付し、詳細な説明を省略する。
次に、本発明の第2の実施の形態に係る3Dカメラシステム40に適用した例について、図12と図13を参照して説明する。
以下の説明において、既に第1の実施の形態で説明した部分には同一符号を付し、詳細な説明を省略する。
3Dカメラシステム40は、カメラヘッド1a,1bと、カメラアダプタ装置2と、2枚の映像の光軸合せを行うカメラ制御装置(CCU:Camera Control Unit)3及び3D映像演算装置4と、を備える。カメラアダプタ装置2には、カメラケーブル5を介してカメラ制御装置3が接続され、カメラ制御装置3には、3D映像演算装置4が接続される。
カメラアダプタ装置2とカメラ制御装置3の間は、広帯域(従来の帯域の2倍以上)の通信インタフェースとしてカメラケーブル5が用いられ、カメラヘッド1a,1bが出力する映像を、標準映像信号と拡大領域映像信号を含めて同時に伝送できる。また、カメラ制御装置3は、例えば、3G−HDIに対応した通信インタフェースを備え、この通信インタフェースを介して映像信号を3D映像演算装置4に高速転送できる。カメラ制御装置3は、操作部35から入力する操作信号をカメラアダプタ装置2に出力してカメラヘッド1a,1bの動作を制御したり、カメラアダプタ装置2から受け取る映像信号を不図示の表示装置に出力したりする。同様に、3D映像演算装置4は、技術者が操作する操作部46によって、動作が制御される。この動作として、例えば、上述したような2枚の映像の光軸ズレを補正するレジセンター補正処理がある。
そして、カメラヘッド1a,1bとカメラ制御装置3の間にカメラアダプタ装置2を設置しているため、カメラアダプタ装置2からは、カメラアダプタ装置2に対して1台のカメラの動作を制御しているように見える。
カメラ制御装置3又は3D映像演算装置4に接続される不図示のモニタ部は、カメラアダプタ装置2から受け取った2枚の映像を表示する。このため、技術者は、モニタ部を見ながら映像を確認することができ、操作部35,46を用いた操作によって、モニタ部に表示された映像を見ながら映像の合わせ込みを行う。
図13は、3D映像を撮像する場合におけるアプリケーションを想定したブロック図を示す。
3Dカメラシステム40において、カメラ制御装置3と3D映像演算装置4が標準映像信号と拡大領域映像信号を用いて光軸ズレ合せを行うための本発明に係る拡大伝送方式に対応する。このとき、カメラアダプタ装置2は、カメラヘッド1a,1bに対して、撮像動作の指示を行う一方で、標準映像信号及び拡大領域映像信号を通過させ、後続のカメラ制御装置3に出力する。
3Dカメラシステム40において、カメラ制御装置3と3D映像演算装置4が標準映像信号と拡大領域映像信号を用いて光軸ズレ合せを行うための本発明に係る拡大伝送方式に対応する。このとき、カメラアダプタ装置2は、カメラヘッド1a,1bに対して、撮像動作の指示を行う一方で、標準映像信号及び拡大領域映像信号を通過させ、後続のカメラ制御装置3に出力する。
カメラ制御装置3は、カメラアダプタ装置2から入力するシリアル映像信号をパラレル映像信号に変換するデシリアル31と、デシリアル31から入力するパラレル映像信号に対して所定の処理を施すビデオプロセッサ32と、処理後のパラレル映像信号をシリアル映像信号に変換して出力するシリアライザ33を備える。カメラ制御装置3と3D映像演算装置4との間は、SDI伝送フォーマットに基づいて、拡大領域に映像信号を重畳して伝送される。また、カメラ制御装置3は、ビデオプロセッサ32に接続される操作部35を備える。操作部35は、標準映像信号によって表示部に表示される映像より、カメラヘッド1a,1bが撮像した映像の光軸ズレを調整する操作信号を出力する。技術者は、操作部35を操作して、不図示のモニタ部に表示された映像の合わせ込みを行うことができる。
3D映像演算装置4は、カメラ制御装置3から入力するシリアル映像信号をパラレル映像信号に変換するデシリアル41と、カメラ制御装置3からシリアル映像信号と合わせて入力されるレンズステータスに基づいて所定の演算処理を行うCPU42と、を備える。また、3D映像演算装置4は、映像の合わせ込みを行うビデオプロセッサ43と、合わせ込んだ映像のパラレル映像信号をシリアル映像信号に変換して出力するシリアライザ45と、を備える。シリアライザ45は、SDI伝送フォーマットに基づいて、標準領域にシリアル映像信号を重畳して出力する。また、3D映像演算装置4は、ビデオプロセッサ43に接続される操作部46を備える。技術者は、操作部46を操作して、不図示のモニタ部に表示された映像の合わせ込みを行うことができる。
ここで、カメラ制御装置3が備えるビデオプロセッサ32の水平垂直フィルタ34が光軸ズレの調整を行う場合、ビデオプロセッサ43が備える水平垂直フィルタ44はバイパスされる。一方、ビデオプロセッサ43が備える水平垂直フィルタ44が光軸ズレの調整を行う場合、カメラ制御装置3が備えるビデオプロセッサ32の水平垂直フィルタ34はバイパスされ、標準映像信号及び拡大領域映像信号がカメラ制御装置3を通過する。このように、水平垂直フィルタ34,44は、一方がフィルタリング動作を行うと、他方が処理をバイパスする関係にある。水平垂直フィルタ34,44が行うフィルタリング動作の例については、上述した第1の実施の形態に係る水平垂直フィルタ15,25が行う処理と同様である。即ち、水平垂直フィルタ34,44は、それぞれ操作信号に基づいて光軸ズレを調整する場合に、拡大領域映像信号の範囲内で、光軸ズレに合わせて標準映像信号の領域を移動し、移動分の範囲内に含まれる拡大領域映像信号から移動分に相当する標準映像信号を抽出し、抽出された標準映像信号を出力する映像信号抽出部として機能する。
以上説明した第2の実施の形態に係る3Dカメラシステム40によれば、複数台のカメラヘッド1a,1bを用いてシステム運用を行う場合、あるいは、カメラと、コントロールパネルや映像信号を受け取る機器との間を長距離延長したい場合には、カメラ制御装置3と3D映像演算装置4を備えたシステム構成とすることができる。ここで、カメラ制御装置3と3D映像演算装置4は、カメラヘッド1a,1bから伝送フォーマットの拡大領域に重畳されて受け取る標準映像信号と拡大領域映像信号を用いて、操作部35,46の指示によって、2枚の映像の光軸ズレを補正し、映像を合わせ込む。このため、カメラ側(カメラヘッド1a,1bとカメラアダプタ装置2)への配線を減らし、ライブシステムカメラなどの複数台のカメラの連携撮影での運用をより柔軟に行うことができる。これは、3Dカメラでも従来の2D撮影と同様のシステムカメラ構成を可能にする。
また、カメラヘッド1a,1b、カメラアダプタ装置2、カメラ制御装置3及び3D映像演算装置4は、信号線によって互いに接続される。各部を接続するに際し、例えば、同軸ケーブル、トライアックスケーブル、光ファイバケーブル、無線通信等の様々な通信媒体、通信方式が用いられる。このため、柔軟性に富んだシステム運用を行うことができる。
<3.変形例>
上述したように、レジセンター補正処理は、各装置が備えるビデオプロセッサによって実現される。ここで、カメラ制御装置3と3D映像演算装置4の間に、AUX領域ごと記録できる記録装置を配置しても良い。
図14は、カメラ制御装置3と3D映像演算装置4の間に大容量の記録装置55を備える3Dカメラシステム50の構成例を示す。
記録装置55は、カメラ制御装置3を通過する拡大領域を含む標準映像信号及び拡大領域映像信号をそのまま記録するものであり、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)が用いられる。そして、3D映像演算装置4は、記録装置55から標準映像信号及び拡大領域映像信号を読み出して、モニタ部に標準映像信号及び拡大領域映像信号を出力する。このように、3D映像演算装置4は、記録装置55から拡大領域を含む映像信号を読み出すことができる。これにより、3D映像演算装置4は、記録装置55から読み出した映像信号を用いて、レジ補正の後処理を行うことができる。この場合、レジ補正の処理を、カメラヘッド1a,1bが被写体を撮像するタイミングに合わせなくてもよく、リアルタイム性が求められない被写体を撮像し、編集する場合に適している。
記録装置55は、カメラ制御装置3を通過する拡大領域を含む標準映像信号及び拡大領域映像信号をそのまま記録するものであり、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)が用いられる。そして、3D映像演算装置4は、記録装置55から標準映像信号及び拡大領域映像信号を読み出して、モニタ部に標準映像信号及び拡大領域映像信号を出力する。このように、3D映像演算装置4は、記録装置55から拡大領域を含む映像信号を読み出すことができる。これにより、3D映像演算装置4は、記録装置55から読み出した映像信号を用いて、レジ補正の後処理を行うことができる。この場合、レジ補正の処理を、カメラヘッド1a,1bが被写体を撮像するタイミングに合わせなくてもよく、リアルタイム性が求められない被写体を撮像し、編集する場合に適している。
また、カメラヘッド1a,1bを単体で用いてよい。この場合、広い映像領域が伝送できる3Dカメラシステムとして活用できる。このとき、拡大領域映像信号を、レンズの光軸ズレ補正,画素数変換時におけるフィルタリング処理の糊代等に用いても良い。
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
1a,1b…カメラヘッド、2…カメラアダプタ装置、3…カメラ制御装置、4…3D映像演算装置、5…カメラケーブル、6…ビューファインダ部、7…コントロールパネル、8…設置台、9…ハーフミラー、10…3Dカメラシステム、11…センサ部、12…カメラビデオプロセッサ、13…ビデオプロセッサ、14…シリアライザ、15…水平垂直フィルタ、16…撮像条件情報出力部、21…デシリアル、22…ビデオプロセッサ、23…シリアライザ、24…ステータスインタフェース部、25…水平垂直フィルタ、26…水平フィルタ、27…メモリ、28…垂直フィルタ、31…デシリアル、32…ビデオプロセッサ、33…シリアライザ、34…水平垂直フィルタ、35…操作部、40…3Dカメラシステム、41…デシリアル、42…CPU、43…ビデオプロセッサ、44…水平垂直フィルタ、45…シリアライザ、46…操作部、50…3Dカメラシステム、55…記録装置
Claims (8)
- 標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有し、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送する第1及び第2のカメラと、
前記第1及び第2のカメラに接続され、前記第1及び第2のカメラに対して、撮像動作の指示を行い、前記標準映像信号及び前記拡大領域映像信号を通過させるカメラアダプタ装置と、
映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力する映像出力部と、
前記標準映像信号によって前記表示部に表示される映像より、前記第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する操作部と、
前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力する映像信号抽出部と、を有し、前記カメラアダプタ装置を介して前記第1及び第2のカメラの動作を制御するカメラ制御装置と、を備える
カメラシステム。 - 前記第1及び第2のカメラは、被写体を撮像する際に前記第1及び第2のカメラに設定される撮像条件情報を前記映像信号抽出部に送り、
前記映像信号抽出部は、前記撮像条件情報に基づいて、前記第1及び第2のカメラの光軸のズレ量に合わせて前記標準映像信号を抽出する
請求項1記載のカメラシステム。 - 前記映像信号抽出部は、前記有効映像領域に対して垂直方向、水平方向又は回転方向に含まれる前記拡大領域映像信号を切り出して前記標準映像信号を抽出する
請求項1又は2記載のカメラシステム。 - 前記映像信号抽出部は、前記有効映像領域の垂直方向及び水平方向にフィルタ処理を行い、前記標準映像信号の垂直方向及び水平方向における移動の距離は、前記撮像素子における単位画素未満の長さとする
請求項1〜3のいずれか1項に記載のカメラシステム。 - 第1及び第2のカメラが、標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有し、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送するステップと、
前記第1及び第2のカメラに接続されるカメラアダプタ装置が、前記第1及び第2のカメラに対して、撮像動作の指示を行い、前記標準映像信号及び前記拡大領域映像信号を通過させるステップと、
前記カメラアダプタ装置を介して前記第1及び第2のカメラの動作を制御するカメラ制御装置が、映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力するステップと、
操作部が、前記標準映像信号によって前記表示部に表示される映像より、前記第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力するステップと、
前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力するステップと、を含む
映像信号処理方法。 - 標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有し、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送する第1及び第2のカメラと、
前記第1及び第2のカメラに接続され、前記第1及び第2のカメラに対して、撮像動作の指示を行い、前記標準映像信号及び前記拡大領域映像信号を通過させるカメラアダプタ装置と、
前記カメラアダプタ装置を介して前記第1及び第2のカメラの動作を制御し、前記標準映像信号及び前記拡大領域映像信号を通過させるカメラ制御装置と、
映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力する映像出力部と、
前記標準映像信号によって前記表示部に表示される映像より、前記第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力する操作部と、
前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力する映像信号抽出部と、を有する映像演算装置と、を備える
カメラシステム。 - さらに、前記カメラ制御装置を通過する前記標準映像信号及び前記拡大領域映像信号を記録する記録装置を備え、
前記映像演算装置は、前記記録装置から前記標準映像信号及び前記拡大領域映像信号を読み出して、前記表示部に前記標準映像信号及び前記拡大領域映像信号を出力する
請求項6記載のカメラシステム。 - 第1及び第2のカメラが、標準映像信号を出力する有効映像領域と、前記有効映像領域より水平及び垂直方向に広い拡大領域を含み、前記有効映像領域から標準映像信号を出力し、前記拡大領域から拡大領域映像信号を出力する撮像素子を有し、前記標準映像信号及び前記拡大領域映像信号を伝送する所定の伝送フォーマットにより、前記標準映像信号を伝送すると共に、前記伝送フォーマットの垂直帰線区間と水平帰線区間に前記拡大領域映像信号を重畳して伝送するステップと、
前記第1及び第2のカメラに接続されるカメラアダプタ装置が、前記第1及び第2のカメラに対して、撮像動作の指示を行い、前記標準映像信号及び前記拡大領域映像信号を通過させるステップと、
前記カメラアダプタ装置を介して前記第1及び第2のカメラの動作を制御するカメラ制御装置が、映像を表示する表示部に前記標準映像信号及び前記拡大領域映像信号を出力するステップと、
操作部が、前記標準映像信号によって前記表示部に表示される映像より、前記第1及び第2のカメラが撮像した映像の光軸ズレを調整する操作信号を出力するステップと、
前記操作信号に基づいて前記光軸ズレを調整する場合に、前記拡大領域映像信号の範囲内で、前記光軸ズレに合わせて前記標準映像信号の領域を移動し、この移動分の範囲内に含まれる前記拡大領域映像信号から移動分に相当する前記標準映像信号を抽出し、前記抽出された標準映像信号を出力するステップと、を含む
映像信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297931A JP2011139297A (ja) | 2009-12-28 | 2009-12-28 | カメラシステム及び映像信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297931A JP2011139297A (ja) | 2009-12-28 | 2009-12-28 | カメラシステム及び映像信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011139297A true JP2011139297A (ja) | 2011-07-14 |
Family
ID=44350270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009297931A Pending JP2011139297A (ja) | 2009-12-28 | 2009-12-28 | カメラシステム及び映像信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011139297A (ja) |
-
2009
- 2009-12-28 JP JP2009297931A patent/JP2011139297A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413184B2 (ja) | カメラシステム及びカメラ制御方法 | |
US6549650B1 (en) | Processing of image obtained by multi-eye camera | |
JP2011139296A (ja) | 映像信号処理装置及び映像信号処理方法 | |
JP2888713B2 (ja) | 複眼撮像装置 | |
JP5515729B2 (ja) | カメラアダプタ装置及びカメラ制御方法 | |
WO2014192804A1 (ja) | デコーダ及び監視システム | |
JP4260094B2 (ja) | ステレオカメラ | |
JP2007067714A (ja) | 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置 | |
JP2010093626A (ja) | 画像処理装置および方法、画像再生装置および方法並びにプログラム | |
JP2007336257A (ja) | フォーカスアシスト機能付撮像装置 | |
JP2011139297A (ja) | カメラシステム及び映像信号処理方法 | |
JP5510318B2 (ja) | 電子カメラ | |
JP5476900B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2003008968A (ja) | 撮像装置 | |
JP2006115540A (ja) | 画像合成装置 | |
JP2010278979A (ja) | 立体映像調整装置、立体映像調整システム、及びプログラム | |
JP2019033437A (ja) | 画像処理装置及び画像処理装置の制御方法、記憶媒体、プログラム | |
JP4325108B2 (ja) | 撮像画像合成装置および方法 | |
JP2011135201A (ja) | 伝送システム、撮像装置及び伝送方法 | |
WO2021192096A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP4622809B2 (ja) | 撮像装置 | |
JP2006165664A (ja) | 画像送受信システム | |
KR101015813B1 (ko) | 실물화상기 카메라에서의 줌방법 | |
JP2006197312A (ja) | ディジタルカメラ | |
JP4029752B2 (ja) | 映像記録再生システム |