JP2006251683A - 立体画像撮影システム - Google Patents

Abstract

【課題】立体画像を形成する左右の視差画像を電子ズームにより補正することにより、補正データの作成に時間や労力を要することなく左右の視差画像における同一被写体の画像の大きさ、即ち、左右の視差画像の撮影倍率を精度良く一致させることができる立体画像撮影システムを提供する。
【解決手段】左右のビデオカメラ１０Ａ、１０Ｂから出力された左右の映像信号は、画像処理装置２０に入力される。画像処理装置２０において、右側の映像信号は電子ズーム回路７２によって電子ズーム処理が施される。電子ズーム回路７２での電子ズーム倍率は、画像処理部７０が左右の映像信号の画像に基づいて設定される。
【選択図】 図１

Description

本発明は立体画像撮影システムに係り、特に２台のカメラを使用して右目用と左目用の視差画像を撮影することにより立体画像を撮影する立体画像撮影システムに関する。

例えば左右２台のテレビカメラを平行に配置して右目用（右側）と左目用（左側）の視差画像を撮影することによって両眼立体視のための立体画像（立体映像）を撮影する立体カメラが知られている。

立体カメラでは、違和感のない立体画像を撮影するために、左右のカメラの光学系として同一種（同一性能）の撮影レンズが使用される。また、撮影レンズの制御についてもズーム（焦点距離）やフォーカス（焦点位置）等の撮影条件を常に左右で一致させる必要があるため、例えば一方を主、他方を従として主側の撮影レンズの撮影条件を変更するとそれに連動して従側の撮影レンズの撮影条件が変更されるようになっている。

ところで、撮影レンズには、同一種のものであっても製造誤差によって個体差が生じており、また、制御に使用するセンサ、例えば、ズーム位置を検出する位置センサ等にも個体差がある。そのため、左右のカメラで同一種の撮影レンズを用い、センサからの信号値に基づいて左右の撮影レンズを同一の撮影条件となるように制御したとしても完全に撮影条件を一致させることは難しい。特に、ズーム機能付きの撮影レンズ（ズームレンズ）を使用した場合に、左右の撮影レンズの焦点距離に差が生じていると、左右のカメラでの撮影倍率が一致せず、右側と左側の視差画像における被写体の大きさ（同一被写体の画像の大きさ）が相違する。左右の視差画像での被写体の大きさが相違すると、鑑賞者にとって非常に見づらい画像となり、長時間の観賞では疲労が大きくなるという問題がある。

このような問題を解消するため、例えば、特許文献１では、左右の撮影レンズ（ズームレンズ）でのズーム位置を検出する位置センサの出力をルックアップテーブルで補正することによって位置センサによるズーム位置の検出特性を一致させるようにすること等が提案されている。

また、特許文献２では、左右の撮影レンズ（ズームレンズ）におけるズーム用レンズ群（変倍レンズ群）の制御において、左右の変倍レンズの相対的な位置関係を補正することによって、左右の撮影レンズのズーム比（焦点距離）を一致させることが提案されている。
特許第３３０３２５５号公報 特許第３１１７３０３号公報

しかしながら、特許文献１や特許文献２の方法では、センサの出力や変倍レンズ群の位置をどの程度補正すれば左右の撮影レンズでの焦点距離を高精度に一致させることできるかを製品出荷前等において製品ごとに測定し、補正データとしてレンズ制御装置に記憶させておく必要がある。このような製品ごとの補正データの作成作業には多くの時間と労力を要するという問題があった。また、撮影レンズやセンサの経時的な特性変化に対応することも難しいという問題があった。

本発明はこのような事情に鑑みてなされたもので、補正データの作成に時間や労力を要することなく、立体画像を形成する左右の視差画像での被写体の大きさ、即ち、左右の視差画像についての撮影倍率を精度良く一致させることができる立体画像撮影システムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の立体画像撮影システムは、立体画像を形成するための右側の視差画像を撮影する右側撮影手段と、立体画像を形成するための左側の視差画像を撮像する左側撮影手段と、前記右側撮影手段により撮影された右側の視差画像と、前記左側撮影手段により撮影された左側の視差画像のうち少なくとも一方の視差画像を所定の電子ズーム倍率で電子的に拡大又は縮小する電子ズーム手段と、前記右側撮影手段により撮影された右側の視差画像と前記左側撮影手段から得られた左側の視差画像とを取得し、該取得した両側の視差画像に基づいて、両側の視差画像における同一被写体の大きさが一致するように前記電子ズーム手段における電子ズーム倍率を変更する電子ズーム倍率変更手段と、を備えたことを特徴とする立体画像撮影システム。

本発明によれば、左右の撮影手段によって撮影された左右の視差画像を電子ズームによって電子的に拡大／縮小すると共に、その電子ズーム倍率を実際に得られた視差画像に基づいて設定するようにしたため、左右の光学系やセンサの特性の違いを全く考慮することなく、左右の視差画像での被写体の大きさ（同一被写体の画像の大きさ）を精度良く一致させることができる。即ち、電子ズームを考慮した場合の左右の撮影手段の撮影倍率を精度良く一致させることができる。

請求項２に記載の立体画像撮影システムは、請求項１に記載の発明において、前記電子ズーム倍率変更手段は、前記右側撮影手段から取得する右側の視差画像と前記左側撮影手段から取得する左側の視差画像のうち、前記電子ズーム手段により拡大又は縮小される視差画像に関しては、前記電子ズーム手段により拡大又は縮小された後の視差画像を取得すると共に、取得した右側の視差画像と左側の視差画像の差分により差画像を抽出して該差画像に基づいて、右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、前記電子ズーム手段における電子ズーム倍率を変更しながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの電子ズーム倍率を前記電子ズーム手段における電子ズーム倍率として設定する最良電子ズーム倍率検出手段と、を備えたことを特徴としている。

本発明は、左右の視差画像に基づいて、左右の視差画像での被写体の大きさが一致するように電子ズーム倍率を設定するための具体的な態様を示している。特に本発明では、電子ズームにより電子的に拡大／縮小した後の左右の視差画像（左右の視差画像のうち一方の視差画像を電子ズームにより電子的に拡大／縮小しない場合にはその視差画像については撮影手段によって得られた視差画像）を用いて左右の視差画像での被写体の大きさが実際に一致するように電子ズーム倍率を設定することができる。

請求項３に記載の立体画像撮影システムは、請求項１又は２に記載の発明において、前記右側撮影手段は、撮像面に像を結像する右側光学系を備えると共に、前記左側撮影手段は、撮像面に像を結像する左側光学系を備え、前記右側光学系と前記左側光学系は、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される光学系であって、前記右側光学系と前記左側光学系の焦点距離が常に一致するように前記変倍レンズ群が制御されることを特徴としている。

本発明は、左右の撮影手段の光学系が変倍レンズ群によって焦点距離を変更することが可能な場合に、その変倍レンズ群の制御においても左右の光学系の焦点距離が一致するように行われる場合を示している。即ち、光学系の焦点距離（光学ズーム）によって左右の撮影手段の撮影倍率が変更可能な場合に左右の光学系の焦点距離も一致するように制御される場合を示している。このように光学系の焦点距離が制御される場合であっても左右の光学系の個体差やセンサの個体差によって撮影倍率（焦点距離）を完全に一致させることが難しいため、請求項１、２のようにその誤差を電子ズームによって補正することは効果的である。

請求項４に記載の立体画像撮影システムは、立体画像を形成するための右側の視差画像を撮影する右側撮影手段と、立体画像を形成するための左側の視差画像を撮像する左側撮影手段と、前記右側撮影手段において撮像面に像を結像する光学系であって、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される右側光学系と、前記左側撮影手段において撮像面に像を結像する光学系であって、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される左側光学系と、前記右側撮影手段により撮影された右側の視差画像と前記左側撮影手段により撮影された左側の視差画像とを取得し、該取得した両側の視差画像に基づいて、両側の視差画像における同一被写体の画像の大きさが一致するように前記右側光学系と前記左側光学系のうちの少なくとも一方の光学系の変倍レンズ群を制御して焦点距離を変更する焦点距離変更手段と、を備えたことを特徴としている。

本発明によれば、左右の撮影手段によって実際に得られた左右の視差画像に基づいて光学系の焦点距離を変更するようにしたため、左右の光学系やセンサの特性の違いを全く考慮することなく、左右の視差画像での被写体の大きさを精度良く一致させることができる。

請求項５に記載の立体画像撮影システムは、請求項４に記載の発明において、前記焦点距離変更手段は、前記右側撮影手段から取得した右側の視差画像と前記左側撮影手段から取得した左側の視差画像の差分により差画像を抽出して該差画像に基づいて右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、前記右側光学系と前記左側光学系のうち少なくとも一方の光学系における変倍レンズ群を変位させながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの位置に変倍レンズ群を設定する変倍レンズ群制御手段と、を備えたことを特徴としている。

本発明は、左右の視差画像に基づいて、左右の視差画像での被写体の大きさが一致するように光学系の焦点距離を変更するための具体的な態様を示している。本発明では、光学系の変倍レンズ群を移動させて光学的に視差画像を拡大又は縮小して左右の視差画像での被写体の大きさが一致する変倍レンズ群の位置を検出するようにしている。

請求項６に記載の立体画像撮影システムは、請求項４に記載の発明において、前記焦点距離変更手段は、前記右側撮影手段から取得した右側の視差画像と前記左側撮影手段から取得した左側の視差画像のうち少なくとも一方の視差画像を所定の電子ズーム倍率で電子的に拡大又は縮小すると共に、右側の視差画像と左側の視差画像の差分により差画像を抽出して該差画像に基づいて右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、前記電子ズーム倍率を変更しながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの電子ズーム倍率に基づいて前記右側光学系と前記左側光学系の少なくとも一方の光学系の変倍レンズ群を制御して焦点距離を変更する変倍レンズ群制御手段と、を備えたことを特徴としている。

本発明は、左右の視差画像に基づいて、左右の視差画像での被写体の大きさが一致するように光学系の焦点距離を変更するための具体的な態様を示している。本発明では、電子ズームにより電子的に視差画像を拡大又は縮小して左右の視差画像での被写体の大きさが一致する電子ズーム倍率を求め、その電子ズーム倍率に基づいて光学系の変倍レンズ群の位置を制御するようにしている。

本発明に係る立体画像撮影システムによれば、補正データの作成に時間や労力を要することなく、立体画像を形成する左右の視差画像での被写体の大きさ、即ち、左右の視差画像についての撮影倍率を精度良く一致させることができる。

以下、添付図面に従って本発明に係る立体画像撮影システムの好ましい実施の形態について詳説する。

図１は、本発明に係る立体画像撮影システムの全体構成を示した図である。同図に示す立体画像撮影システムは、左右平行に配置された２台のビデオカメラ（テレビカメラ）１０Ａ、１０Ｂを備えており、ビデオカメラ１０Ａ、１０Ｂはそれぞれ光学系を構成する撮影レンズ１２Ａ、１２Ｂと、撮影レンズ１２Ａ、１２Ｂがマウントによって装着されると共に撮像系を構成するカメラ本体（カメラヘッド）１４Ａ、１４Ｂとから構成されている。

また、同図に示すシステムは、各ビデオカメラ１０Ａ、１０Ｂの光学系（撮影レンズ１２Ａ、１２Ｂ）を制御する左右のレンズ制御系として、マイクロプロセッシング装置（ＭＰＵ）１６、ズーム操作部１８、その他の一点鎖線で囲まれていない構成部（後述する）を備えている。更に撮像系の一部として画像処理装置２０を備えている。

尚、左右のレンズ制御系の各構成部は、撮影レンズ１２Ａ、１２Ｂやカメラ本体１４Ａ、１４Ｂと別体の１又は複数の装置として構成される場合の他に、その一部又は全部が、撮影レンズ１２Ａ、１２Ｂ又はカメラ本体１４Ａ、１４Ｂのいずれかに一体の装置として組み込まれていてもよい。

ビデオカメラ１０Ａの光学系（撮影レンズ１２Ａ）、撮像系、及び、レンズ制御系と、ビデオカメラ１０Ｂの光学系（撮影レンズ１２Ａ）、撮像系、及び、レンズ制御系とは、対応する構成部が同等の種類（特性、性能）のもので構成されており、以下、ビデオカメラ１０Ａを左側、ビデオカメラ１０Ｂを右側として左側のビデオカメラ１０Ａに関連した構成部を主として説明する。尚、左右のビデオカメラ１０Ａ、１０Ｂに関する構成の入れ替えは可能である。

左側のビデオカメラ１０Ａの光学系（撮影レンズ１２Ａ）は、例えば、固定レンズ（群）３０Ａ、変倍レンズ（群）３２Ａ、フォーカスレンズ（群）３４Ａ等を備えており、変倍レンズ３２Ａが光軸方向に前後移動することによって撮影レンズ１２Ａの焦点距離（光学ズーム倍率）が変更され、フォーカスレンズ３４Ａが光軸方向に前後移動することによって焦点位置が調整される。

ビデオカメラ１０Ａのレンズ制御系は、変倍レンズ３２Ａを駆動制御するズーム制御系とフォーカスレンズ３４Ａを駆動制御するフォーカス制御系とを有している。ズーム制御系は、変倍レンズ３２Ａを駆動するモータ４０Ａと、モータ４０Ａを動作させるモータ駆動回路（モータドライバ）４２Ａと、変倍レンズ３２Ａの位置を検出する位置検出器４４Ａを備えている。モータドライバ４２Ａは、ＭＰＵ１６からの制御信号によって制御され、その制御信号に基づいてモータ４０Ａを駆動するようになっている。

例えば、ズーム操作部１８には、操作方向によってズーミングの方向（テレ方向又はワイド方向）を指示すると共に、その操作量によってズーミング速度（速さ）を指示するズームシーソレバー４６が設けられており、そのズームシーソレバー４６の操作に応じた電圧信号がズーミング指令信号としてズーム操作部１８からＡ／Ｄ変換器４８を介してＭＰＵ１６に与えられるようになっている。ＭＰＵ１６からモータドライバ４２Ａには、ズーム操作部１８から与えられたズーミング指令信号に従ってズーミング方向とズーミング速度を示す制御信号が与えられ、その制御信号に従ってモータドライバ４２Ａがモータ４０Ａを駆動する。これによって変倍レンズ３２Ａがズームシーソレバー４６の操作方向に対応したズーミング方向に駆動されると共に、ズームシーソレバー４６の操作量に対応したズーミング速度で駆動され、左側の撮影レンズ１２Ａの焦点距離が変更される。

位置検出器４４Ａは、例えばポテンショメータで構成され、テレ端−ワイド端間における変倍レンズ３２Ａの位置をズーム位置電圧Ｖａとして検出する。このズーム位置電圧Ｖａは、左側の撮影レンズ１２Ａの焦点距離（光学ズーム倍率）を示す情報として利用される。ズーム位置電圧Ｖａは、図示しないＡ／Ｄ変換器を介してＭＰＵ１６に与えられる。

ビデオカメラ１０Ａのフォーカス制御系は、フォーカスレンズ３４Ａを駆動するモータ５０Ａと、そのモータ５０Ａを動作させるモータ駆動回路（モータドライバ）５２Ａとフォーカスレンズ３４Ａの位置を検出する位置検出器５４Ａとを備えている。図示しないオートフォーカス（ＡＦ）手段に基づいてＭＰＵ１６からモータドライバ５２Ａに制御信号が出力され、その制御信号に従ってモータ５０Ａがモータドライバ５２Ａによって駆動される。これによって、フォーカスレンズ３４Ａが合焦位置に駆動される。位置検出器５４Ａは例えばポテンショメータで構成され、フォーカスレンズ３４Ａの位置をフォーカス位置電圧として検出し、そのフォーカス位置電圧を図示しないＡ／Ｄ変換器を介してＭＰＵ１６に与えている。

ビデオカメラ１０Ａの撮像系は、主にカメラ本体１４Ａに搭載されており、ＣＣＤ６０Ａ、ＣＣＤ駆動回路（ドライバ）６２Ａ、ＣＤＳ回路６４Ａ、基準信号発生器（ＳＳＧ）６６Ａ、信号処理回路６８Ａ等から構成されている。前述した撮影レンズ１２Ａを通過した被写体光は、ＣＣＤ６０Ａの受光面（撮像面）に結像され、光の強さに応じた量のＲ，Ｇ，Ｂ信号電荷に変換される。Ｒ，Ｇ，Ｂの電荷は、ドライバ６２Ａから加えられる読み出しパルスによって読みだされ、ＣＤＳ回路６４Ａによって信号分離された後、信号処理回路６８Ａでデジタル化されると共に公知の信号処理が施される。これによって信号処理回路６８Ａで得られた画像信号（映像信号）がカメラ本体１４Ａから後述の画像処理装置２０に送られる。ドライバ６２Ａ、ＣＤＳ回路６４Ａ、信号処理回路６８ＡにはＳＳＧ６６Ａからのタイミング信号がそれぞれ加えられており、各回路の同期がとられている。

他方、右側のビデオカメラ１０Ｂについては、光学系（撮影レンズ１２Ｂ）は、固定レンズ（群）３０Ｂ、変倍レンズ（群）３２Ｂ、フォーカスレンズ（群）３４Ｂ等を備えており、レンズ制御系は、変倍レンズ３２Ｂを駆動制御するズーム制御系とフォーカスレンズ３４Ｂを駆動制御するフォーカス制御系とを有している。ズーム制御系は、変倍レンズ３２Ｂを駆動するモータ４０Ｂと、そのモータ４０Ｂを動作させるモータ駆動回路（モータドライバ）４２Ｂと、変倍レンズ３２Ｂの位置を検出する位置検出器４４Ｂを備えている。フォーカス制御系は、フォーカスレンズ３４Ｂを駆動するモータ５０Ｂと、そのモータ５０Ｂを動作させるモータ駆動回路（モータドライバ）５２Ｂとフォーカスレンズ３４Ｂの位置を検出する位置検出器５４Ｂを備えている。また、撮像系は、主にカメラ本体１４Ｂに搭載されたＣＣＤ６０Ｂ、ＣＣＤ駆動回路（ドライバ）６２Ｂ、ＣＤＳ回路６４Ｂ、基準信号発生器（ＳＳＧ）６６Ｂ、信号処理回路６８Ｂ等から構成されている。これらの右側のビデオカメラ１０Ｂにおける光学系、レンズ制御系（ズーム制御系及びズーム制御系）、撮像系の構成は、前述した左側のビデオカメラ１０Ａと同様であり、フォーカス制御系でのフォーカス制御や撮像系での撮像処理も前述のビデオカメラ１０Ａと同様である。

一方、右側のビデオカメラ１０Ｂのズーム制御系におけるズーム制御はビデオカメラ１０Ａと異なる。モータドライバ４２Ｂは、左右のズーム位置の誤差に基づいて駆動制御されるもので、ズーム操作部１８のズームシーソレバー４６の操作によって先行して駆動された左側の光学系（撮影レンズ１０Ａ）の変倍レンズ３２Ａの動きによって生じる左右の光学系の焦点距離（光学ズーム倍率）の誤差を小さくするように、変倍レンズ３２Ｂを駆動するようになっている。即ち、左側の光学系（撮影レンズ１０Ａ）をマスター側、右側の光学系（撮影レンズ１０Ｂ）をスレーブ側として、マスター側の変倍レンズ３２Ａの動きにスレーブ側の変倍レンズ３２Ｂを追従させることにより、左右の光学系の焦点距離の誤差が生じないようにしている。但し、実際には左右の光学系の個体差や位置検出器４４Ａ、４４Ｂの個体差によって左右の光学系に焦点距離の誤差が生じている。

具体的には、位置検出器４４Ｂは、変倍レンズ３２Ｂの位置を検出し、ズーム位置電圧Ｖｂとして出力しており、このズーム位置電圧Ｖｂは、右側の撮影レンズ１０Ｂの焦点距離（光学ズーム倍率）を示す情報として図示しないＡ／Ｄ変換器を介してＭＰＵ１６に与えられる。ＭＰＵ１６は、前述した左側の位置検出器４４Ａから得られたズーム位置電圧Ｖａと、右側の位置検出器４４Ｂから得られたズーム位置電圧Ｖｂとの差に基づいて制御信号をモータドライバ４２Ｂに出力する。その制御信号は、ズーム位置電圧Ｖａとズーム位置電圧Ｖｂとの差が小さくなるズーミング方向に変倍レンズ３２Ａを移動させると共に、その差が大きい程、ズーミング速度が大きくなるような指令をモータドライバ４２Ｂに与える。これによって右側の光学系の変倍レンズ３２Ｂが左側の光学系の変倍レンズ３２Ａに追従して移動する。

尚、ズーム操作部１８が目標のズーム位置を指令するズーミング指令信号を出力する場合には、前述のように左側の光学系の変倍レンズ３２Ａの動きに右側の光学系の変倍レンズ３２Ｂを追従させるのではなく、ズーミング指令信号により指令されたズーム位置となるように左右の光学系の変倍レンズ３２Ａ、３２Ｂを別々に制御してもよい。また、前述のようにズーム操作部１８が目標のズーム速度（ズーミング方向とズーミング速度（速さ））を指令するズーミング指令信号を出力する場合であっても、ズーミング指令信号により指令されたズーム速度となるように左右の光学系の変倍レンズ３２Ａ、３２Ｂを別々に制御してもよい。この場合、光学系の焦点距離（光学ズーム倍率）に比較的大きな差を生じる恐れがあるが、後述のように電子ズームによってその差を補正することができる。

次に、画像処理装置２０について説明する。画像処理装置２０は、主として画像処理部７０と電子ズーム回路７２とから構成されている。前述のように左側のビデオカメラ１０Ａの撮像系で得られた画像信号（映像信号）は左側のカメラ本体１４Ａから画像処理装置２０に送られ、入力信号Ａとして画像処理装置２０に入力される。同様に右側のビデオカメラ１０Ｂの撮像系で得られた画像信号（映像信号）は右側のカメラ本体１４Ｂから画像処理装置２０に送られ、入力信号Ｂとして画像処理装置２０に入力される。

画像処理装置２０では、入力信号Ａとして取り込まれた左側の映像信号が、そのまま出力信号Ａとして画像処理装置２０から出力されると共に、画像処理部７０に取り込まれるようになっている。一方、入力信号Ｂとして入力された右側の映像信号は、電子ズーム回路７２に入力され、その映像信号の各コマ（各フィールド）の画像が電子ズームの処理によって拡大又は縮小されるようになっている。後述のように電子ズーム回路７２での電子ズームの倍率（電子ズーム倍率）は、画像処理部７０によって決定され、画像処理部７０からの指示信号によって設定されるようになっている。電子ズーム回路７２によって電子ズーム処理された映像信号は、出力信号Ｂとして画像処理装置２０から出力されると共に、画像処理部７０に取り込まれるようになっている。

尚、画像処理装置２０から出力信号Ａ、出力信号Ｂとして出力される左側の映像信号と右側の映像信号はそれぞれ、本システムが立体画像（立体映像）を形成する左側（左目用）の視差画像と右側（右目用）の視差画像として最終的に出力する映像信号であり、本システムで撮影される左側の視差画像と右側の視差画像の撮影倍率はそれぞれ左側の光学系（撮影レンズ１０Ａ）と右側の光学系（撮影レンズ１０Ｂ）の焦点距離に応じた光学ズーム倍率と、画像処理装置２０の電子ズーム倍率とにより変更される。本システムでは、光学系の光学ズーム倍率による左側の視差画像と右側の視差画像の撮影倍率の誤差を右側の視差画像に対して行う電子ズームの電子ズーム倍率により補正することによって、本システムで撮影される左側の視差画像と右側の視差画像の撮影倍率を一致させるようにしている。即ち、左側の視差画像と右側の視差画像の各々における同一被写体の画像の大きさ（実空間での被写体の長さに対する画像上での長さ）が高精度に一致するようにしている。

画像処理部７０は、詳細を後述するように、出力信号Ａとして出力される左側の映像信号から１コマ分（１画面分）の画像（視差画像）を取り込むと共に、出力信号Ｂとして出力される右側の映像信号から１コマ分の画像（視差画像）を取り込み、それらの画像を比較して、それらの視差画像での被写体の大きさ（同一被写体の画像の大きさ）が等しくなるように電子ズーム回路７２での電子ズーム倍率を変更する。

尚、画像処理部７０は、左右のカメラ本体１４Ａ、１４ＢにおけるＳＳＧ６６Ａ、６６Ｂに同期信号を与え、各ＳＳＧ６６Ａ、６６Ｂから出力するタイミング信号のタイミングを同期させて、左側の映像信号と右側の映像信号の同期を図っている。

図２は、電子ズーム回路７２の具体的構成の一例を示す要部ブロック図である。電子ズーム回路７２は、主として、基準信号発生器（ＳＳＧ）１００、ライトバッファ１０２、フレームメモリ１０４、リードバッファ１０６、ライトアドレス発生回路１０８、リードアドレス発生回路１１０等から構成されている。

図１において右側のビデオカメラ１０Ｂ（カメラ本体１４Ｂ）から電子ズーム回路７２に入力された右側の映像信号のデータは、ライトバッファ１０２に順次入力する。ライトバッファ１０２に一時的に記憶されたデータは、ライトアドレス発生回路１０８によってアドレスが指定され、ＳＳＧ１００からの書き込みタイミング信号に基づいて、フレームメモリ１０４に書き込まれる。フレームメモリ１０４に書き込まれた画像データは、リードアドレス発生回路１１０によって指定される読み出しアドレスに従って読み出され、リードバッファ１０６を介して出力される。上記書き込み動作と読み出し動作を交互に繰り返すように、ＳＳＧ１００がタイミングを調整している。また、ＳＳＧ１００は読み出しアドレスをフレームメモリ１０４に加える際に、画像処理部７０から指示された電子ズーム倍率に基づいて読み出し開始アドレスや読み出しのタイミング等を調整することにより、指示された電子ズーム倍率で入力画像を拡大又は縮小している。尚、図２で示した電子ズーム回路７２の構成は一例であって他の構成であってもよい。

次に、画像処理部７０での処理を図３のフローチャートを用いて説明する。画像処理部７０は、入力信号Ａとして左側のビデオカメラ１０Ａから入力された映像信号の１画面分の画像（輝度データ）を取り込む（ステップＳ１０）。尚、このステップＳ１０で取り込んだ画像を画像Ａとする。続いて、電子ズーム回路７２の電子ズーム倍率を０．９５に設定し（ステップＳ１２）、変数ｎを０に設定する（ステップＳ１４）。

次に、画像処理部７２は、入力信号Ｂとして右側のビデオカメラ１０Ｂから入力され電子ズーム回路７２で電子ズーム処理された映像信号の１画面分の画像（輝度データ）を取り込む（ステップＳ１６）。尚、このステップＳ１６で取り込んだ画像を画像Ｂとする。そして、画像Ａと画像Ｂの差分を抽出して差画像Ｃを求める（ステップＳ１８）。即ち、画像Ａと画像Ｂの対応する画素の画素値（輝度値）の差の絶対値（｜Ａ−Ｂ｜）を求め、これによって得られた画像を差画像Ｃとする。次に差画像Ｃの各画素について画素値が所定のしきい値以上であれば１、しきい値未満であれば０として差画像Ｃを２値化する（ステップＳ２０）。そして２値化した差画像Ｃにおいて１を示す画素の面積を求め、その面積の値をＡｒｅａ（ｎ）とする（ステップＳ２２）。尚、面積Ａｒｅａ（ｎ）は、画像Ａと画像Ｂにおける同一被写体の画像の大きさの差を表す誤差量である。

次に、変数ｎに１を加算する。即ち、ｎ＝ｎ＋１とする（ステップＳ２４）。続いて、電子ズーム回路７２での電子ズーム倍率を、
０．９５＋（０．０１×ｎ）
に設定する（ステップＳ２６）。そして、電子ズーム倍率が１．０５未満か否か、即ち、ｎが１０未満か否かを判定する（ステップＳ２８）。

このステップＳ２８においてＹＥＳと判定した場合には、ステップＳ１６の処理に戻り、ｎに１を加算したときの差画像Ｃの面積を求める。即ち、ｎを０〜９まで変化させて電子ズーム倍率を０．９５から０．０１ずつ変化させ、各電子ズーム倍率での差画像Ｃの面積Ａｒｅａ（ｎ）を算出する。

ステップＳ２８においてＮＯと判定した場合、即ち、電子ズーム倍率が１．０５となった場合には、次に、ｎが０〜９の各値のときの面積Ａｒｅａ（ｎ）のうち最小値となるものを検出する（ステップＳ３０）。そして、面積Ａｒｅａ（ｎ）が最小値となったときの電子ズーム倍率を電子ズーム回路７２の電子ズーム倍率として設定する（ステップＳ３２）。

以上の処理を適宜繰り返し行うことにより、左側の視差画像と右側の視差画像における同一被写体の画像の大きさが常に一致するように電子ズーム回路７２での電子ズーム倍率が変更される。

尚、図３に示したフローチャートでは、電子ズーム倍率を変更する際にステップＳ１２により電子ズーム倍率の初期値を０．９５に設定するようにしたが、必ずしも０．９５に設定する必要はない。例えば、前回本フローチャートの処理を実行したときにステップＳ３２で設定した電子ズーム倍率をそのまま初期値として、電子ズーム回路７２での電子ズーム倍率をその初期値に対して増減させて面積Ａｒｅａ（ｎ）を求め、そのうち最小値が得られたときの電子ズーム倍率に電子ズーム回路７２での電子ズーム倍率を変更するようにしてもよい。また、その初期値に対して面積Ａｒｅａ（ｎ）が減少する方向に電子ズーム倍率を変更し、面積Ａｒｅａ（ｎ）が極小となったときの電子ズーム倍率に電子ズーム回路７２での電子ズーム倍率を設定してもよい。

また、図３に示したフローチャートの処理は、任意のタイミング（連続的、又は、所定時間間隔）で行うようにしてもよいし、左右の光学系の焦点距離（光学ズーム倍率）が変化した場合に行うようにしてもよい。

以上、上記実施の形態では、右側の映像信号に対して電子ズームの処理を施すようにしたが、右側の映像信号の代わりに左側の映像信号に対して電子ズームの処理を施すことによって、又は、左右両側の映像信号に対して電子ズームの処理を施すことによって、両側の視差画像での被写体の大きさが一致するようにしてもよい。

また、上記実施の形態では、画像処理装置２０の画像処理部７０は、電子ズーム回路７２によって電子ズーム処理された映像信号（右側の映像信号）の画像を取り込み、その画像に基づいて電子ズーム回路７２の電子ズーム倍率を設定するようにしたが、これに限らない。電子ズーム回路７２によって電子ズーム処理される前の左右の映像信号の画像を取り込み、その画像に基づいて適切な電子ズーム倍率を求めて電子ズーム回路７２での電子ズーム倍率を設定してもよい。

また、上記実施の形態では、電子ズームを使用して左右の視差画像での被写体の大きさを高精度に一致させるようにしたが、左右の少なくとも一方の光学系の焦点距離（光学ズーム）を補正して左右の視差画像での被写体の大きさを高精度に一致させるようにしてもよい。例えば、左側の光学系（撮影レンズ１０Ａ）をマスター側、右側の光学系（撮影レンズ１０Ｂ）をスレーブ側として制御する場合に、左側の光学系の変倍レンズ３２Ａの位置が変化して焦点距離が変化した場合に、右側の光学系の変倍レンズ３２Ｂを変倍レンズ３２Ａの位置に対応した位置に移動させる。続いて、左側のカメラ本体１４Ａと右側のカメラ本体１４Ｂから出力された映像信号の画像（左右の視差画像）を画像処理部７０に相当する処理部で取得し、上記実施の形態と同様に左右の視差画像の差分を抽出して差画像の面積Ａｒｅａ（誤差量）を求める。そして、その面積Ａｒｅａが最小値となる位置に変倍レンズ３２Ｂを設定する。ここで、面積Ａｒｅａが最小値となる変倍レンズ３２Ｂの位置は、変倍レンズ３２Ｂを実際に移動させながら差画像の面積Ａｒｅａを求め、その面積Ａｒｅａが最小値（極小値）となった位置として検出することができる。又は、左右の視差画像を取得した処理部内において少なくとも一方の視差画像、例えば、右側の視差画像を電子ズームにより電子的に拡大／縮小して上記実施の形態と同様に左右の視差画像での被写体の大きさが一致する電子ズーム倍率を求め、その電子ズーム倍率に相当する分だけ左側の光学系の焦点距離（光学ズーム倍率）を変更するように変倍レンズ３２Ｂを変位させるようにすることもできる。

また、本発明は、左右の光学系の特性（種類）が異なる場合であっても適用可能であり、また、電子ズームを使用して左右の視差画像での被写体の大きさを補正する場合には光学系の焦点距離が可変でない場合であっても有効に適用できる。

また、図１に示したように左右の光学系の変倍レンズ３２Ａ、３２Ｂを個別のモータ４０Ａ、４０Ｂで別々に駆動する構成ではなく、図４に示すように１つのモータ１２０に連動させて変倍レンズ３２Ａ、３２Ｂを駆動する構成であっても上記実施の形態のように左右のビデオカメラ１０Ａ、１０Ｂによって撮影された左右の視差画像での被写体の大きさを電子ズームで補正する態様を適用することができる。図４において、図１と同一又は類似の作用の構成部には同一符号を付しており、図１と相違する点は、左右の変倍レンズ３２Ａ、３２Ｂが１つのモータ１２０に図示しない連結機構によって連結され、モータ１２０の動作が１つのモータドライバ１２２によって制御されるようになっている点であり、そのモータ１２０、ドライバ１２２は、図１に示した左側のビデオカメラ１０Ａのモータ４０Ａ、ドライバ４２Ａと同様にＭＰＵ１６によって制御される。

図１は、本発明に係る立体画像撮影システムの全体構成を示した図である。 図２は、電子ズーム回路の具体的構成の一例を示す要部ブロック図である。 図３は、画像処理部での処理手順を示したフローチャートである。 図４は、本発明に係る立体画像撮影システムの他の実施の形態の全体構成を示した図である。

符号の説明

１０Ａ、１０Ｂ…ビデオカメラ、１２Ａ、１２Ｂ…撮影レンズ、１４Ａ、１４Ｂ…カメラ本体、１６…マイクロプロセッシング装置、１８…ズーム操作部、２０…画像処理装置、３２Ａ、３２Ｂ…変倍レンズ（群）、４０Ａ、４０Ｂ…モータ、４２Ａ、４２Ｂ…モータ駆動回路（モータドライバ）、４４Ａ、４４Ｂ…位置検出器、６０Ａ、６０Ｂ…ＣＣＤ、６２Ａ、６２Ｂ…ＣＣＤ駆動回路（ドライバ）、６４Ａ、６４Ｂ…ＣＤＳ回路、６６Ａ、６６Ｂ…基準信号発生器（ＳＳＧ）、６８Ａ、６８Ｂ…信号処理回路、７０…画像処理部、７２…電子ズーム回路

Claims (6)

1. 立体画像を形成するための右側の視差画像を撮影する右側撮影手段と、
   立体画像を形成するための左側の視差画像を撮像する左側撮影手段と、
   前記右側撮影手段により撮影された右側の視差画像と、前記左側撮影手段により撮影された左側の視差画像のうち少なくとも一方の視差画像を所定の電子ズーム倍率で電子的に拡大又は縮小する電子ズーム手段と、
   前記右側撮影手段により撮影された右側の視差画像と前記左側撮影手段から得られた左側の視差画像とを取得し、該取得した両側の視差画像に基づいて、両側の視差画像における同一被写体の大きさが一致するように前記電子ズーム手段における電子ズーム倍率を変更する電子ズーム倍率変更手段と、
   を備えたことを特徴とする立体画像撮影システム。
2. 前記電子ズーム倍率変更手段は、
   前記右側撮影手段から取得する右側の視差画像と前記左側撮影手段から取得する左側の視差画像のうち、前記電子ズーム手段により拡大又は縮小される視差画像に関しては、前記電子ズーム手段により拡大又は縮小された後の視差画像を取得すると共に、取得した右側の視差画像と左側の視差画像の差分により差画像を抽出して該差画像に基づいて、右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、
   前記電子ズーム手段における電子ズーム倍率を変更しながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの電子ズーム倍率を前記電子ズーム手段における電子ズーム倍率として設定する最良電子ズーム倍率検出手段と、
   を備えたことを特徴とする請求項１の立体画像撮影システム。
3. 前記右側撮影手段は、撮像面に像を結像する右側光学系を備えると共に、前記左側撮影手段は、撮像面に像を結像する左側光学系を備え、
   前記右側光学系と前記左側光学系は、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される光学系であって、前記右側光学系と前記左側光学系の焦点距離が常に一致するように前記変倍レンズ群が制御されることを特徴とする請求項１又は２の立体画像撮影システム。
4. 立体画像を形成するための右側の視差画像を撮影する右側撮影手段と、
   立体画像を形成するための左側の視差画像を撮像する左側撮影手段と、
   前記右側撮影手段において撮像面に像を結像する光学系であって、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される右側光学系と、
   前記左側撮影手段において撮像面に像を結像する光学系であって、光軸方向に前後動可能な変倍レンズ群の位置によって焦点距離が変更される左側光学系と、
   前記右側撮影手段により撮影された右側の視差画像と前記左側撮影手段により撮影された左側の視差画像とを取得し、該取得した両側の視差画像に基づいて、両側の視差画像における同一被写体の画像の大きさが一致するように前記右側光学系と前記左側光学系のうちの少なくとも一方の光学系の変倍レンズ群を制御して焦点距離を変更する焦点距離変更手段と、
   を備えたことを特徴とする立体画像撮影システム。
5. 前記焦点距離変更手段は、
   前記右側撮影手段から取得した右側の視差画像と前記左側撮影手段から取得した左側の視差画像の差分により差画像を抽出して該差画像に基づいて右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、
   前記右側光学系と前記左側光学系のうち少なくとも一方の光学系における変倍レンズ群を変位させながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの位置に変倍レンズ群を設定する変倍レンズ群制御手段と、
   を備えたことを特徴とする請求項４の立体画像撮影システム。
6. 前記焦点距離変更手段は、
   前記右側撮影手段から取得した右側の視差画像と前記左側撮影手段から取得した左側の視差画像のうち少なくとも一方の視差画像を所定の電子ズーム倍率で電子的に拡大又は縮小すると共に、右側の視差画像と左側の視差画像の差分により差画像を抽出して該差画像に基づいて右側の視差画像と左側の視差画像における同一被写体の画像の大きさの差を表す誤差量を算出する誤差量算出手段と、
   前記電子ズーム倍率を変更しながら、前記誤差量算出手段により算出される誤差量を取得し、前記取得した誤差量が最小値を示したときの電子ズーム倍率に基づいて前記右側光学系と前記左側光学系の少なくとも一方の光学系の変倍レンズ群を制御して焦点距離を変更する変倍レンズ群制御手段と、
   を備えたことを特徴とする請求項４の立体画像撮影システム。

Images