JP4536527B2 - ステレオ画像を生成する電子カメラ及び画像生成装置 - Google Patents

Description

本発明は、ステレオ画像の撮像に適用される電子カメラ及び画像生成装置に関し、より詳細には、多眼式ステレオ画像を撮像または生成した場合にも適正なプリント写真が得られることが可能なステレオ画像を生成する電子カメラ及び画像生成装置に関するものである。

画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、旧くから今日に至るまで利用されている。

この２眼式ステレオに於いて、いわゆるパーソナルユースに対しては、同時には１人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日、尚広く使用されている。

そして、ステレオアダプタを用いたステレオ撮像装置として、システムコントローラに、ステレオアダプタの装着を検出するステレオアダプタ検出部、測光エリアに関する被写体画像信号を解析して露出制御に必要な測光情報を算出するための自動露出（ＡＥ）制御部、及び上述の測光エリアの設定を行う測光エリア設定部を設けて、測光エリア設定部が、通常撮影モード時とステレオ撮影モードとでそれぞれ異なる測光エリアを設定する機能を有しており、通常撮影モード及びステレオ撮影モードそれぞれに最適な測光エリアを設定する技術が知られている（例えば、特許文献１参照）。
特開２００２−２１８５０６号公報

ところで、上述した特許文献１に記載の装置により、ステレオ画像が撮像された場合、記録されるステレオ画像の露出は適正になると期待されるが、この画像をプリントすることを考えた場合、特に市場に普及しているプリントサービスラボに於けるプリントに於いて、次のような問題が生じることが考えられる。

すなわち、画像が記録された記録媒体が一般のラボに持ち込まれてプリントが行われる場合、記録されている各画像（コマ）毎にそれぞれの画像の状態に適した種々の画像処理が自動的になされた後、プリントアウトされるのが一般的である。その代表的な例は露出の補正であって、撮影時に多少の露光過多や不足が生じている画像であっても、プリントマシンの画像処理システムがその画像信号のレベル解析を行うことによって、プリント時の輝度レベル（反射率或いは濃度）に補正を加えて、適正な輝度レベルの画像が得られるようになっている。

このプリント時に於ける露出の補正は、通常画像の場合、画像信号レベルの解析を行うに際して画像の中央部に重み付けがなされた平均処理が採られることが多い。すなわち、プリントマシン側では、カメラの露出制御になぞらえるならば、中央重点平均測光（主要被写体を重視しつつ全体に対して破綻を生じないために用いられる）に相当する信号レベル解析が行われ、この解析結果に基づいて出力される輝度レベル（プリントの印画濃度）に補正を施すことで、適宜所望の画像がプリントアウトされるようになっている。

しかしながら、上述したステレオペア画像のプリント時には、通常の画像とは異なり、不具合を生じることがある。何故なら、ステレオペア画像は左右視点に対応する２つのモノキュラ画像が並置されたものであるから、被写体の中央部は左右の２箇所に位置し、ステレオ画像全体の中央部にはモノキュラ画像の境界部分が位置しているため、上記通常画像用の露出の補正が適用されると意図に反した露出の補正（誤補正）を生じる恐れが高い。すなわち、この境界部分は、ステレオアダプタ装着時にケラレが発生しやすい部分であるから、本来の両モノキュラ画像のレベルに関わりなく低レベルとなりやすい。従って主要被写体が暗いと誤解されるため、露出補正によって本来の画像の輝度レベルが異常に高くなる過露光状態を生じてしまう。

尚かつ、このプリント時の露出の誤補正問題は、対象とする画像が従来のフィルム画像ではなくデジタル画像の場合は、上記ステレオアダプタ装着時のケラレとは別に、ステレオ画像の構造自体からも生じ得るものであった。この背景には以下のような事情がある。

すなわち、従来用いられてきた一般的なステレオペア画像は、左右２つのモノキュラ画像の境目が解りにくいものであった。つまり、表示画面上を見た限りでは、ステレオ画像を構成する左右２つのモノキュラ画像であるのか、通常画像で左右に似たような絵柄のある画像であるのか、区別がつきにくいものであった。

この点に限っては、上記ステレオアダプタによるケラレが顕著に生じた場合は、ステレオ写真であることを判別する目印になり、かえって好都合な面もあったのである。もちろん、このアダプタによるケラレは本質的には画像に対する妨害であるし、これを別にしたとしても、主撮像光学系の特性によって、例えば絞り値によっても多様に変化するため、常には役立つものではない。

そこで、このような視認判別性を確実に持たせようとすれば、デジタル画像に於いては、画像の加工（画像処理）が極めて容易であることを利用して、生成される１つのステレオ画像に於いて左右の両モノキュラ画像を離間して配置し、これらの間の領域を例えば黒（輝度レベル０）で埋めるようにすれば、この領域がいわば２画像の分離帯となりステレオ画像がステレオ画像であることを直接的に視認判別可能となる。このような領域は、また２画像の間の領域のみに留まらず、２画像を取り巻く画枠として（例えて言えば眼鏡のフレーム状に）設けても良く、同様の機能を果たし得ることは勿論である。

そこで、ステレオ画像の記録フォーマットとして、上述のような分離帯または画枠を有するものを採用することが好適となる訳であるが、この場合、黒の分離帯が上記ステレオアダプタのケラレと同様の位置に存在するため、同様の露出の誤補正を生じてしまうことになるものであった。

尚、上記に於いては理解の容易さを意図し、ステレオ方式は左右両眼に対応する２眼式、またプリントシステムは市場に普及しているプリントサービスラボとして説明してきたが、上記問題点が、３眼以上の一般の多眼式ステレオ方式で記録された画像を、露出の補正（自動輝度レベル調節）機能を有したプリント装置でプリントする場合に共通のものであることは勿論である。

したがって本発明は上記実状に鑑みてなされたものであり、露出の補正機能を有したプリント装置によって、プリントアウトされる際にも適正な輝度レベル（印画濃度）制御が行われるようになされたステレオ画像を生成することが可能な電子カメラ及び画像生成装置を提供することを目的とする。

上記目的を達成するために、本発明の第１の態様によるステレオ画像を生成する電子カメラは、所定の視差を有して被写体像を複数の並列被写体像に分離結像するステレオ撮像光学系と、上記ステレオ撮像光学系により結像された被写体像を光電変換して被写体画像信号を得る撮像手段と、上記被写体像の撮像に係る所定の測光エリアに関する露光情報を算出する露光レベル検出手段と、上記ステレオ撮像光学系で分離結像された並列被写体像の画像データに基づいて生成されたステレオ画像に於いて、該並列被写体像の各モノキュラ画像を離間配置するために挿入された領域であるパーティション領域を設定するパーティション領域設定手段と、上記パーティション領域設定手段で設定されるパーティション領域の画像信号レベルを上記露光レベル検出手段により検出された露光情報に基づいて制御する信号レベル制御手段と、
を具備することを特徴とする。

上記目的を達成するために、本発明の第２の態様による画像生成装置は、
所定の視差を有して記録された複数のモノキュラ画像を所定の条件で配置することによりステレオ画像を生成する画像生成装置であって、
上記複数のモノキュラ画像に関する輝度情報を算出する輝度情報算出手段と、
上記ステレオ画像に於いて、各モノキュラ画像を離間配置するために挿入された領域であるパーティション領域を設定するパーティション領域設定手段と、
上記パーティション領域設定手段で設定されるパーティション領域の画像信号レベルを上記輝度情報算出手段が算出した上記複数のモノキュラ画像に関する輝度情報に基いて制御する信号レベル制御手段と、
を具備することを特徴とする。

本発明によれば、露出の補正機能を有したプリント装置によってプリントアウトされる際にも適正な輝度レベル（印画濃度）制御が行われるようになされたステレオ画像を生成することが可能な電子カメラ及び画像生成装置を提供することができる。

そして、請求項１に記載の発明によれば、露出の補正機能を有したプリント装置によってプリントアウトされる際にも適正な輝度レベル（印画濃度）制御が行われるようになされたステレオ画像を生成することが可能な電子カメラを提供することができる。さらに、請求項１に記載の発明によれば、上記被写体像の撮像に係る所定の測光エリアに関する露光情報を算出する露光レベル検出手段を更に具備し、上記信号レベル制御部は、上記露光レベル検出手段により検出された露光情報に基づいて上記パーティション領域の画像信号レベルを制御するから、被写体の明るさに応じた適正な露光レベル制御が行われるようにすることができる。

請求項２に記載の発明によれば、プリント装置に於いて輝度レベル調整情報の主要な一部として使用される上記パーティション領域の平均信号レベルを、各モノキュラ画像全体の平均露光レベルに合わせることになるから、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項３に記載の発明によれば、プリント装置に於いて輝度レベル調整情報の主要な一部として使用される上記パーティション領域の平均信号レベルを、各モノキュラ画像の中央部の露光レベルに合わせることになるから、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項４に記載の発明によれば、上記パーティション領域を、一様な絵柄に設定するから、極めて容易に、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項５に記載の発明によれば、上記パーティション領域の少なくとも内部の大部分を、彩度の高い単色に設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項６に記載の発明によれば、上記パーティション領域を、一様ではない絵柄で、且つ明部と暗部とを含んで設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項７に記載の発明によれば、上記パーティション領域を、上記明部と暗部の繰り返しパターンである複数のストライプに設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項８に記載の発明によれば、上記パーティション領域の少なくとも内部の大部分を上記明部と暗部が縦横に交互に繰り返されるパターンであるチェッカパターンに設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項９に記載の発明によれば、上記並列被写体像全体を取り囲むように構成されたステレオフレームパターンを連続的に構成する当該ステレオフレームパターンの部分領域として上記パーティション領域を形成するから、ステレオ画像としての視認判別を極めて容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

また、請求項１０に記載の発明によれば、上記ステレオ撮像光学系により結像された複数の並列被写体像の数は左右両眼に対応する２であるから、本発明を、最も広く普及している２眼式ステレオ画像に対して適用することができる。

請求項１１に記載の発明によれば、上記ステレオ撮像光学系は、モノキュラ（非ステレオ）光学系に着脱可能なステレオアダプタを装着したものであるから、ステレオアダプタが生じるケラレに起因する不具合を解決して、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１２に記載の発明によれば、露出の補正機能を有したプリント装置によってプリントアウトされる際にも適正な輝度レベル（印画濃度）制御が行われるようになされたステレオ画像を生成することが可能な画像生成装置を提供することができる。さらに、請求項１２に記載の発明によれば、上記複数のモノキュラ画像に関する輝度情報を算出する輝度レベル検出手段を更に具備し、上記信号レベル制御手段は、上記輝度レベル検出手段により検出された輝度情報に基づいて上記パーティション領域の画像信号レベルを制御するから、モノキュラ画像の明るさに応じた適正な露光レベル制御が行われるようにすることができる。

請求項１３に記載の発明によれば、プリント装置に於いて輝度レベル調整情報の主要な一部として使用される上記パーティション領域の平均信号レベルを、各モノキュラ画像全体の平均露光レベルに合わせることになるから、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１４に記載の発明によれば、プリント装置に於いて輝度レベル調整情報の主要な一部として使用される上記パーティション領域の平均信号レベルを、各モノキュラ画像の中央部の露光レベルに合わせることになるから、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１５に記載の発明によれば、上記パーティション領域を、一様な絵柄に設定するから、極めて容易に、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１６に記載の発明によれば、上記パーティション領域の少なくとも内部の大部分を、彩度の高い単色に設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１７に記載の発明によれば、上記パーティション領域を、一様ではない絵柄で、且つ明部と暗部とを含んで設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１８に記載の発明によれば、上記パーティション領域を、上記明部と暗部の繰り返しパターンである複数のストライプに設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項１９に記載の発明によれば、上記パーティション領域の少なくとも内部の大部分を上記明部と暗部が縦横に交互に繰り返されるパターンであるチェッカパターンに設定するから、ステレオ画像としての視認判別を容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

請求項２０に記載の発明によれば、上記並列被写体像全体を取り囲むように構成されたステレオフレームパターンを連続的に構成する当該ステレオフレームパターンの部分領域として上記パーティション領域を形成するから、ステレオ画像としての視認判別を極めて容易とし、且つ、被写体の明るさに応じた適正な輝度レベル（印画濃度）制御が行われるようにすることができる。

また、請求項２１に記載の発明によれば、上記ステレオ撮像光学系により結像された複数の並列被写体像の数は左右両眼に対応する２であるから、本発明を、最も広く普及している２眼式ステレオ画像対して適用することができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子カメラの構成を示すブロック図である。

この電子カメラは、カメラ本体１と、レンズ鏡筒を有するレンズユニット５と、ステレオ画像撮影用のステレオアダプタ手段であるステレオアダプタ１０とから構成されている。

本実施形態の電子カメラに於いては、レンズユニット５にミラー式のステレオアダプタ１０が着脱可能となっている。このステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２によって反射された光をカメラ側に導くためのミラー１３、１４が配置された構成となっている。

ステレオアダプタ１０内のミラー１１、１３及びミラー１２、１４を通過した光は、それぞれレンズユニット５内の撮影レンズ群２１を介して露出制御機構２２、更にはカメラ本体１内のハーフミラー３１に導かれる。

上記レンズユニット５は、撮影レンズ群２１と、露出制御機構２２と、レンズ駆動機構２３と、レンズドライバ２４と、露出制御ドライバ２５とを有して構成されている。

上記撮影レンズ群２１は、ステレオアダプタ１０が装着していない状態では通常の（モノキュラ）撮像が可能な主撮像光学系（非ステレオ光学系）であって、フォーカシングやズーミングの調節はレンズ駆動機構２３によって駆動される。つまり、ステレオアダプタ１０と主撮像光学系とによりステレオ撮像光学系が構成される。レンズ駆動機構２３は、レンズドライバ２４によって制御される。また、上記露出制御機構２２は、撮影レンズ群２１の絞り及びシャッタ装置（図示せず）を制御するための機構である。この露出制御機構２２は、露出制御ドライバ２５によって制御される。

上記レンズユニット５からカメラ本体１に導かれた光は、ハーフミラー３１を通過して、ローパス及び赤外カット用のフィルタ３２を介して撮像部としてのＣＣＤカラー撮像素子３４にて結像される。このＣＣＤカラー撮像素子３４は、ＣＣＤドライバ３５によって制御される撮像手段であり、ここで被写体像が電気信号に光電変換される。尚、ＣＣＤカラー撮像素子３４は、例えば、縦型オーバフロードレイン構造のインターライン型で、プログレッシブ（順次）走査型のものが使用される。

上記ＣＣＤカラー撮像素子３４で光電変換された信号は、Ａ／Ｄ変換器等を含むプリプロセス回路３６を介して、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行うためのデジタルプロセス回路３９に出力される。このデジタルプロセス回路３９に於いて、上記デジタル化された画像信号を処理することにより、カラー画像データが生成される。

また、このデジタルプロセス回路３９には、ＬＣＤ表示部４０が接続されると共に、カードインターフェース（ＩＦ）４１を介してＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ Ｍｅｍｏｒｙ Ｃａｒｄ）やスマートメディア等のメモリカード４２が接続される。上記ＬＣＤ表示部４０はカラー画像データを表示するものであり、メモリカード４２はカラー画像データを格納するものである。

尚、上記メモリカード４２は、外部のパーソナルコンピュータ６０に装填が可能である。したがって、メモリカード４２に記録された画像は、パーソナルコンピュータ６０上で表示、画像処理等が可能である。更には、図示されないプリンタにより、プリントアウトも可能である。

上記ハーフミラー３１は、入射される被写体像が一部反射されるように構成されているもので、この反射された光はＡＦセンサモジュール４５に導かれる。ＡＦセンサモジュール４５は、撮影レンズ群２１を通って入射された光線に基づいて焦点検出を行うためのものである。上記ＡＦセンサモジュール４５は、瞳分割用のセパレータレンズ４６と、ラインセンサで構成されるＡＦセンサ４７を有して構成されている。

システムコントローラ（ＣＰＵ）５０は、カメラ本体１及びレンズユニット５内の各部を統括的に制御するためのものである。このシステムコントローラ５０には、上述したレンズドライバ２４と、露出制御ドライバ２５と、ＣＣＤドライバ３５と、プリプロセス回路３６と、デジタルプロセス回路３９と、ＡＦセンサモジュール４５の他、操作スイッチ部５２と、操作表示部５３と、不揮発性メモリ（ＥＥＰＲＯＭ）５１と、ステレオ切り替えスイッチ（ＳＷ）５４とが接続されている。

上記操作スイッチ部５２は、レリーズスイッチや撮影モード設定等の各種スイッチから構成される。上記操作表示部５３は、カメラの操作状態及びモード状態等を表示するための表示部である。

上記ＥＥＰＲＯＭ５１は、各種設定情報等を記憶するためのメモリである。そして、ステレオ切り替えスイッチ５４は、ステレオアダプタ１０がレンズユニット５に装着される際にモードを切り替えるための切り替えスイッチである。尚、ここでは、撮影モード切り替え換えはステレオ切り替えスイッチ５４を操作して行うようにしているが、これに限られるものではない。例えば、ステレオアダプタ１０内に検出機能を設けて自動的に撮影モード切り替えが行われるようにしてもよい。

上記システムコントローラ５０は、露出制御機構２２とＣＣＤドライバ３５によるＣＣＤカラー撮像素子３４の駆動を制御して、露光（電荷蓄積）及び信号の読み出しを行う。そして、それをプリプロセス回路３６を介してデジタルプロセス回路３９に取り込み、ここで各種信号処理を施した後に、カードインターフェース４１を介してメモリカード４２に記録するようになっている。

尚、ストロボ５７は、発光手段として閃光を発光するもので、レンズユニット５内の露出制御ドライバ２５を介して、システムコントローラ５０によって制御されるようになっている。

上記システムコントローラ５０は、更にパーティション領域設定手段であるパーティション領域設定部５０ａ、ステレオペア画像（ＳＰＭ；Stereo Pair in Multimedia）合成部５０ｂ、所定フォーマットの電子画像ファイルＳＧＭ（Stereo Gram in Multimedia）生成部５０ｃ、測光及び露出制御手段である露出制御部５０ｄと、測光エリア設定手段である測光エリア設定部５０ｅとを有して構成されている。尚、上述したＳＰＭ及びＳＧＭについては、本件出願人よる先の出願である特開２００２−７７９４２号公報参照。

上記パーティション領域設定部５０ａは、ステレオ画像を撮像した際の該ステレオ画像を構成するモノキュラ画像の境界部分、言い換えれば分離帯たる領域（以下、パーティション領域と記す）の具体的なデータ（画像パターン）を設定するためのものであって、機能的には次に述べるＳＰＭ合成部５０ｂの一部ということができるが、本発明に於いて中心的な役割のため、特にこの部分を分けて図示したものである。

また、ＳＰＭ合成部５０ｂは、モノキュラ画像からＳＰＭ画像を合成して得るためのものであるが、パーティション領域設定部５０ａで設定されたパーティション領域の画像信号レベルを制御する信号レベル制御手段としての役割をも果たすものである。更に、ＳＧＭ生成部５０ｃは、ＳＰＭ画像からＳＧＭ画像データを生成するために設けられたものである。

露出制御部５０ｄは、測光エリアに関する被写体画像信号を解析して露出制御に必要な露光情報を算出するため、若しくは複数のモノキュラ画像に関する輝度情報を算出するための制御手段であり、露光（輝度）レベル検出部としての役割をも果たすものである。また、測光エリア設定部５０ｅは、上述した測光エリアの設定を行うためのものである。

この測光エリア設定部５０ｅは、通常撮影モード時とステレオ撮影モードとでそれぞれ異なる測光エリアを設定する機能を有しており、通常撮影モード及びステレオ撮影モードそれぞれに最適な測光エリアを設定する。ここでは通常モード時は撮像素子上の撮影範囲（撮影画枠）全域に対して、また、ステレオ撮影モードでは、撮像素子上に設けられた左右の各画枠（各モノキュラ画像用の画枠）全域に対して、平均測光が適用される。したがって、それぞれの撮影モードに於いて、被写体全体に対してほぼ適正な露出制御が行われる。もちろん、この際単純な平均測光ではなく、各画枠に対して従来公知の各種測光方式（中央部に重みを持たせた中央部重点平均測光や、また例えば縦横とも画枠の７０％の同心矩形（面積約５０％）など適当な領域の部分測光等）を適用しても良いことは勿論である。

図２は、本実施形態の電子カメラに装着するミラー式ステレオアダプタの構成を示した図である。

図２に於いて、カメラ本体１に装着されたレンズ鏡筒を有するレンズユニット５に、ミラー式のステレオアダプタ１０が着脱可能となっている。このステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２で反射された光をカメラ側に導くためのミラー１３、１４が配置されて構成される。

ステレオアダプタ１０の左眼視用ミラー１２に入射された光は、ミラー１４及び撮影レンズ群２１を介して撮像素子３４の領域Ｌに結像される。同様に、右眼視用ミラー１１に入射された光は、ミラー１３及び撮影レンズ群２１を介して撮像素子３４の領域Ｒに結像されるようになっている。

このＬＲの各領域に結像された被写体像には、実際には上述のとおり境界部にケラレを生じたり、或いは結像位置にずれを生じたりするため、当該ケラレを避けたり位置ずれを補正すべく、各領域中の所定部分をトリミングする形で左右２つの画枠が設定されており、撮像素子３４から読み出されたこれら左右２つの画枠内の画像信号が、記録される２つのモノキュラ画像となる。そして上述したように、撮影（露光）に際しては、これら２つのモノキュラ画像の露出が適正になるように露出制御が行われ、更にこれら２つの画像を所定の位置に配置した１つのステレオ画像（ＳＰＭ）が生成され、最終的には必要に応じて圧縮処理が行われた後に付属データ（メタデータ）が付加された所定フォーマットのデジタル画像ファイル（ＳＧＭ）としてメモリカード４２に記録されることは先に引用した各特許文献と同様であり詳述は省略する。但し、上記ＳＰＭの生成に際してパーティション領域のデータ（画像パターン）の設定が行われる点については、本発明の主眼であるので、以下に詳述する。

次に、本発明の第１の実施形態による電子カメラのパーティション領域のデータ設定の動作について、図３のフローチャートを参照して説明する。この動作は、システムコントローラ５０によって制御される。尚、パーティション領域のデータ設定はステレオ撮像時のみに係るものであるから、カメラ本体１に設けられているモード切り替えスイッチ５４が通常モードにセットされているとき、すなわち通常撮影時には行われないことは言うまでも無い。

そして、ステップＳ１にて、左右２つのモノキュラ画像全体に対して、平均露光レベルとして当該画像の平均輝度信号レベルが算出される。

補足すれば、露出制御系の制御目標値は当該画像の輝度信号レベルであるという意味に於いて、「露光レベル」と「輝度信号レベル」は等価に対応するものである。すなわち、上記露出制御部５０ｄによって制御された露光レベルとは、結果的に記録された画像の輝度信号レベルに対応するものであって、特に本実施形態の電子カメラのように撮像映像信号の輝度信号レベルを解析して露出情報を得る方式の場合は、この対応は直接的なものとなる。したがって、また、撮像機能を有しない、例えば左右２視点に対応する２つの（一般的には複数の）記録済みのモノキュラ画像から１つのＳＰＭを生成するような一般的なステレオ画像生成装置に対しても、多くの場合画像に加えられているガンマ特性（非線形処理）を正しく考慮すれば、全く同様に適用可能である。

また、撮像素子であるＣＣＤ３４とは別に測光専用の例えばフォトダイオードセンサを用いる場合には、必ずしも映像信号の輝度信号レベルを解析することなく、上記した等価な関係に依拠して、当該測光専用のセンサからの情報に基づいて露光レベルを算出することが可能である。

ここでの平均輝度信号レベルの算出は、撮像画像信号を用いて例えば以下のように行われる。すなわち、各画素のＲＧＢ値（信号レベル）を座標の表記を省略してＲ，Ｇ，Ｂとし、平均輝度レベルをＬとすると、
Ｌ＝１／Ｎ・ΣＹ
但し、Ｙ＝Ｃ₁ Ｒ＋Ｃ₂ Ｇ＋Ｃ₃ Ｂ
で求められる。ここで、Σは対象画素領域に関する総和を、Ｎは当該領域の画素数を表し、Ｃ₁ 〜Ｃ₃ は輝度マトリクス係数であって、例えばＮＴＳＣ方式の場合、Ｃ₁ ＝０．３、Ｃ₂ ＝０．５９、Ｃ₃ ＝０．１１である。

プリントの際にパーティション領域に起因する露出の誤補正を起こさないためには、最も簡単には、求めた平均輝度信号レベルと同じ輝度信号レベル、すなわち輝度Ｌの一様パターンでパーティション領域を埋め尽くせば良い。本実施形態では、視認判別性をより高くする観点から、高彩度の色である単色の青（（Ｒ，Ｇ，Ｂ）＝（０，０，Ｂ））を用いる。

このため、ステップＳ２では、パーティション領域を埋め尽くすＢの値が算出される。輝度マトリクス係数から、Ｂ＝Ｌ／Ｃ₃ となる。すなわちパーティション領域の全画素に関して（Ｒ，Ｇ，Ｂ）＝（０，０，Ｌ／Ｃ₃ ）となり、彩度の高い青の成分の一色だけとなる。

その後、ステップＳ３にて、上述のようにして算出されたＢの値に従ってパーティション領域が生成される。

図４は、このようにして作成された、左右の各モノキュラ画像とパーティション領域から成るＳＰＭの例を示した図である。同図に於いて、左画像３４Ｌと右画像３４Ｒの間に、図中斜線で示されるパーティション領域３４Ｓａが形成されている。第１の実施形態の場合、パーティション領域３４Ｓａは、上述のとおり、Ｒ（赤）、Ｇ（緑）の成分を含まないＢ（青）の成分のみの一色となる。

こうした色成分によるパターンは、通常の被写体とは明確に異なるものであると判断される。したがって、図４に示される画像は、左右に類似した被写体が並んだ通常（モノキュラ）画像ではなく、パーティション領域３４Ｓａを含むステレオ画像である、と容易に判断することができると同時に、上述のとおり、パーティション領域の輝度レベルが制御されているから、プリント時に露出が誤補正されてしまうことを防止することができる。

尚、上述した実施形態では、パーティション領域３４ａを一様な絵柄としてのＢ（青）成分のみの一色で説明したが、これに限られるものではなく、Ｒ（赤）成分のみ、或いはＧ（緑）成分のみとしてもよいのは勿論である。また、Ｒ、Ｇ、Ｂ成分の一色ではない任意の同一色（例えばニュートラルグレイ）でパーティション領域を構成するようにしてもよい。また、パーティション領域を彩度の高い単色で埋め尽くさなくとも、パーティション領域の内部の大部分を彩度の高い単色としてもよい。

更に、上述した第１の実施形態では、露光レベル検出手段としての露出制御部５０ｄにより検出された平均露光レベル（平均輝度レベル）を用いてパーティション領域を生成したが、これに限られずに、各モノキュラ画枠の中央部の露光レベル（輝度レベル）を検出することによりパーティション領域を生成してもよい。また、ステレオ画像における各モノキュラ画像はほぼ類似の絵柄であるから、全画像を用いず一の画像で代表させて露光レベル（輝度レベル）を検出しても良い。

（第２の実施形態）
上述した第１の実施形態では、パーティション領域を同一成分のみの一色で形成した例で説明した。しかしながら、これ以外にも、被写体とは明らかに異なるパターンによって形成し、これをパーティション領域とすることも可能である。したがって、この第２の実施形態では、２つの色のストライプの繰り返しパターンにより形成した例について説明する。ここでは２色として白（明部）、黒（暗部）を用い、特に飽和レベル（最大値、最小値）すなわちＲＧＢ値として（２５５，２５５，２５５）、（０，０，０）を使用する。

尚、本第２の実施形態に於ける電子カメラの構成は、基本的に図１に示されたものと同様であるので、同一の部分には同一の参照番号を付して、その図示及び説明は省略する。

図５は、本発明の第２の実施形態による電子カメラのステレオ撮影時のＳＰＭ生成に於けるパーティション領域設定の動作について説明するフローチャートである。尚、この動作は、システムコントローラ５０によって制御される。

先ず、ステップＳ１１にて、第１の実施形態と同じく左右画像の平均輝度レベルＬが算出される。

続いて、ステップＳ１２にて、パーティション領域のストライプが算出される。具体的には例えば、図６に示されるようなパーティション領域３４Ｓｂが形成される場合、各モノキュラ画像に接する外側の部分が黒とに配置された白黒のストライプパターンが形成される。そして、この場合、黒は黒同士、白は白同士それぞれのストライプは幅が等しいが、黒と白の幅は任意に設定し得る条件下で、黒のストライプパターンの幅の合計をＷＢとし、白のストライプパターンの合計をＷＷとし、パーティション領域３４Ｓｂの幅をＷＰとすると、ＷＢとＷＷは下記のように算出される。

すなわち、このパーティション領域の平均輝度レベルは
２５５×ＷＷ／（ＷＢ＋ＷＷ）＝２５５×ＷＷ／ＷＰ
となるが、これを上記ステップＳ１１で求めた平均輝度レベルＬと等しくするには
２５５×ＷＷ／ＷＰ＝Ｌ
したがって
ＷＷ＝ＷＰ×Ｌ／２５５，
ＷＢ＝ＷＰ×（２５５−Ｌ）／２５５
とすれば良い。図６に例示のような白６本、黒７本のストライプの場合は、各ストライプ１本の幅はそれぞれＷＷ／６とＷＢ／７ということになる。

そしてステップＳ１３では、このようにして算出されたパーティション領域３４Ｓｂが画像として実際に生成される。

このような、パーティション領域３４Ｓｂは、通常の被写体とは明確に異なるものと判断される。したがって、図６に示される画像は、左右に類似した被写体が並んだ通常（モノキュラ）画像ではなく、パーティション領域３４Ｓｂを含む１つのステレオ画像である、と容易に判断することができると同時に、上述のとおり、パーティション領域の輝度レベルが制御されているから、プリント時に露出が誤補正されてしまうことを防止することができる。

尚、上述した第２の実施形態では、パーティション領域３４Ｓｂのうち外側のストライプを暗部、内側のストライプを明部として構成したが、これに限られずに逆の配列にしてもよいのは勿論である。

（第３の実施形態）
図７は、本発明の第３の実施形態による電子カメラのパーティション領域設定の動作について説明するフローチャートである。尚、この動作は、システムコントローラ５０によって制御される。

この第３の実施形態は、上述した第２の実施形態がパーティション領域をストライプパターンの繰り返しで構成していたのに対し、チェッカパターンによって構成したものである。

この第３の実施形態によるパーティション領域の構成は、ステップＳ２２を除いては、上述した第２の実施形態による図５のフローチャートのステップＳ１１〜Ｓ１３と同様である。

チェッカパターンの場合は、ストライプの場合と異なり、パターンの間隔（ストライプの幅に相当するもの）を変化させても白黒の面積比率は（縁取りを別にすれば）変わらず５０％であるから、この場合は白黒を飽和レベルとせずレベル調節することで、パターン全体の平均輝度レベルをステップＳ２１で求めた平均輝度レベルＬと等しくする。

したがって、ステップＳ２２では、予め決められたチェッカパターンの白黒の各画素に割り当てる信号レベル（ＲＧＢ値）の算出を行う。具体的な算出式は、一例として
Ｌ＜１２８の場合：白（２Ｌ，２Ｌ，２Ｌ）黒（０，０，０）
Ｌ＞１２７の場合：
白（２５５，２５５，２５５）黒（２Ｌ−２５５，２Ｌ−２５５，２Ｌ−２５５）
とすれば良い。

図８は、このようにして作成された左右の画像とパーティション領域の例を示した図である。同図に於いて、左右画像３４Ｌ及び３４Ｒの間に、黒と白の２色によるチェッカパターンによるパーティション領域３４Ｓｃが形成される。そして、パーティション領域３４Ｓｃは、通常の被写体とは明確に異なるものと判断されるので、図８に示される画像は、左右に類似した被写体が並んだ通常（モノキュラ）画像ではなく、パーティション領域３４Ｓｃを含む１つのステレオ画像である、と容易に判断することができるると同時に、上述のとおりパーティション領域の輝度レベルが制御されているからプリント時に露出が誤補正されてしまうことを防止することができる。

（第４の実施形態）
また、上述した第１乃至第３の実施形態では、左右の画像の中央にパーティション領域を配した例について説明したが、これに限られるものではない。すなわち、通常の画像とステレオ画像とを区別するためにパーティション領域を設けるのであるから、例えば、図９に示されるように左画像３５Ｌ、右画像３５Ｒの周囲を覆うように（全体として眼鏡のフレーム状に）パーティション領域３５Ｓを形成するようにしても良い。更に、当該パーティション領域３５Ｓ
の一部の領域のみをパーティション領域として設けるようにしてもよい。

勿論、この場合のパーティション領域のパターンは、一色、ストライプの繰り返し、チェッカパターン、或いは柄模様等、被写体画像と確実に識別することができるものであれば良い。

尚、上述した実施形態では、説明の簡単化のため、デジタル値のビット数は８ビットで表現し、またγ補正については特に触れずリニアであることを暗に仮定して説明した。しかしながら、パーティション領域の平均輝度レベルをより厳密に設定するためには、パーティション領域に対しても主画像（２つのモノキュラ画像）のγ特性と同じγ特性を仮定し、平均輝度レベルの算出がガンマの影響を受ける場合には、デγ補正してリニアに戻してから算出するようにすることが望ましい。

また、上記実施形態は電子カメラすなわち撮像記録装置であったが、本発明はこれに限られるものでは無い。一例として、メモリ媒体を着脱接続可能なスロットを有し、或いはネットワーク接続を介して画像を入出力するように構成された、それ自体は撮像機能を有しない画像編集装置の形態をとり、別途撮像装置によって撮像された左右２視点に対応する２つの記録済みのモノキュラ画像から１つのＳＰＭ（ＳＧＭ）を生成する機能を有したステレオ画像生成装置を、本発明の別の態様の一実施形態としてここに挙げ置くものである。この実施形態についても、撮像に関係する部分を別にすれば上記全ての実施形態がそのまま適用されるものであることは言うまでも無い。

また、上記に於いては、ステレオ方式は左右両眼に対応する２眼式として説明してきたが、３眼以上の一般の多眼式ステレオ方式に対しても同様に適用可能であることは勿論である。

本発明の第１の実施形態に係る電子カメラの構成を示すブロック図である。 本実施形態の電子カメラに装着するミラー式ステレオアダプタの構成を示した図である。 本発明の第１の実施形態による電子カメラのパーティション領域設定の動作について説明するフローチャートである。 図３のパーティション領域設定動作に従って作成された左右の画像とパーティション領域の例を示した図である。 本発明の第２の実施形態による電子カメラのパーティション領域設定の動作について説明するフローチャートである。 図５のパーティション領域設定動作に従って作成された左右の画像とパーティション領域の例を示した図である。 本発明の第３の実施形態による電子カメラのパーティション領域設定の動作について説明するフローチャートである。 図７のパーティション領域設定動作に従って作成された左右の画像とパーティション領域の例を示した図である。 本発明の第４の実施形態による電子カメラのパーティション領域設定動作に従って作成された左右の画像とパーティション領域の例を示した図である。

符号の説明

１…カメラ本体、５…レンズユニット、１０…ステレオアダプタ、１１、１２、１３、１４…ミラー、２１…撮影レンズ群、２２…露出制御機構、２５…露出制御ドライバ、３１…ハーフミラー、３２…フィルタ、３４…ＣＣＤカラー撮像素子、３５…ＣＣＤドライバ、３６…プリプロセス回路、３９…デジタルプロセス回路、４０…ＬＣＤ表示部、４１…カードインターフェース（ＩＦ）、４２…メモリカード、４５…ＡＦセンサモジュール、４６…セパレートレンズ、４７…ＡＦセンサ、５０…システムコントローラ（ＣＰＵ）、５０ａ…パーティション領域設定部、５０ｂ…ＳＰＭ合成部、５０ｃ…ＳＧＭ生成部、５０ｄ…露出制御部、５０ｅ…測光エリア設定部、５１…不揮発性メモリ（ＥＥＰＲＯＭ）、５２…操作スイッチ（ＳＷ）、５３…操作表示部、５４…ステレオ切り替えスイッチ、６０…パーソナルコンピュータ。

Claims (21)

1. 所定の視差を有して被写体像を複数の並列被写体像に分離結像するステレオ撮像光学系と、
   上記ステレオ撮像光学系により結像された被写体像を光電変換して被写体画像信号を得る撮像手段と、
   上記被写体像の撮像に係る所定の測光エリアに関する露光情報を算出する露光レベル検出手段と、
   上記ステレオ撮像光学系で分離結像された並列被写体像の画像データに基づいて生成されたステレオ画像に於いて、該並列被写体像の各モノキュラ画像を離間配置するために挿入された領域であるパーティション領域を設定するパーティション領域設定手段と、
   上記パーティション領域設定手段で設定されるパーティション領域の画像信号レベルを上記露光レベル検出手段により検出された露光情報に基づいて制御する信号レベル制御手段と、
   を具備することを特徴とするステレオ画像を生成する電子カメラ。
2. 上記信号レベル制御手段は、上記並列被写体像の平均露光レベルにほぼ一致するレベルに、上記パーティション領域の平均信号レベルを制御することを特徴とする請求項１に記載のステレオ画像を生成する電子カメラ。
3. 上記信号レベル制御手段は、上記並列被写体像の各モノキュラ画像の中央部の露光レベルにほぼ一致するレベルに、上記パーティション領域の平均信号レベルを制御することを特徴とする請求項１に記載のステレオ画像を生成する電子カメラ。
4. 上記パーティション領域設定手段は、上記パーティション領域を、一様な絵柄に設定することを特徴とする請求項１乃至３の何れか１に記載のステレオ画像を生成する電子カメラ。
5. 上記パーティション領域設定手段は、上記パーティション領域の少なくとも内部の大部分を、彩度の高い単色に設定することを特徴とする請求項１乃至３の何れか１に記載のステレオ画像を生成する電子カメラ。
6. 上記パーティション領域設定手段は、上記パーティション領域を、一様ではない絵柄で、且つ明部と暗部とを含んで設定することを特徴とする請求項１乃至３の何れか１に記載のステレオ画像を生成する電子カメラ。
7. 上記パーティション領域設定手段は、上記パーティション領域を、上記明部と暗部の繰り返しパターンである複数のストライプに設定することを特徴とする請求項６に記載のステレオ画像を生成する電子カメラ。
8. 上記パーティション領域設定手段は、上記パーティション領域の少なくとも内部の大部分を上記明部と暗部が縦横に交互に繰り返されるパターンであるチェッカパターンに設定することを特徴とする請求項６に記載のステレオ画像を生成する電子カメラ。
9. 上記パーティション領域設定手段は、上記並列被写体像全体を取り囲むように構成されたステレオフレームパターンを連続的に構成する当該ステレオフレームパターンの部分領域として、上記パーティション領域を形成することを特徴とする請求項１乃至８の何れか１に記載のステレオ画像を生成する電子カメラ。
10. 上記ステレオ撮像光学系により結像された複数の並列被写体像の数は、左右両眼に対応する２ であることを特徴とする請求項１乃至９の何れか１に記載のステレオ画像を生成する電子カメラ。
11. 上記ステレオ撮像光学系は、モノキュラ光学系に着脱可能なステレオアダプタを装着したものであることを特徴とする請求項１乃至１０の何れか１に記載のステレオ画像を生成する電子カメラ。
12. 所定の視差を有して記録された複数のモノキュラ画像を所定の条件で配置することによりステレオ画像を生成する画像生成装置であって、
    上記複数のモノキュラ画像に関する輝度情報を算出する輝度情報算出手段と、
    上記ステレオ画像に於いて、各モノキュラ画像を離間配置するために挿入された領域であるパーティション領域を設定するパーティション領域設定手段と、
    上記パーティション領域設定手段で設定されるパーティション領域の画像信号レベルを上記輝度情報算出手段が算出した上記複数のモノキュラ画像に関する輝度情報に基いて制御する信号レベル制御手段と、
    を具備することを特徴とする画像生成装置。
13. 上記信号レベル制御手段は、上記複数のモノキュラ画像の平均輝度レベルにほぼ一致するレベルに、上記パーティション領域の平均信号レベルを制御することを特徴とする請求項１２に記載の画像生成装置。
14. 上記信号レベル制御手段は、上記複数のモノキュラ画像の各画像の中央部の輝度レベルにほぼ一致するレベルに、上記パーティション領域の平均信号レベルを制御することを特徴とする請求項１２に記載の画像生成装置。
15. 上記パーティション領域設定手段は、上記パーティション領域を、一様な絵柄に設定することを特徴とする請求項１２乃至１４のうち何れか１に記載の画像生成装置。
16. 上記パーティション領域設定手段は、上記パーティション領域の少なくとも内部の大部分を、彩度の高い単色に設定することを特徴とする請求項１２乃至１４の何れか１に記載の画像生成装置。
17. 上記パーティション領域設定手段は、上記パーティション領域を、一様ではない絵柄で、且つ明部と暗部とを含んで設定することを特徴とする請求項１２乃至１４の何れか１に記載の画像生成装置。
18. 上記パーティション領域設定手段は、上記パーティション領域を、上記明部と暗部の繰り返しパターンである複数のストライプに設定することを特徴とする請求項１７に記載の画像生成装置。
19. 上記パーティション領域設定手段は、上記パーティション領域の少なくとも内部の大部分を上記明部と暗部が縦横に交互に繰り返されるパターンであるチェッカパターンに設定することを特徴とする請求項１７に記載の画像生成装置。
20. 上記パーティション領域設定手段は、上記並列被写体像全体を取り囲むように構成されたステレオフレームパターンを連続的に構成する当該ステレオフレームパターンの部分領域として、上記パーティション領域を形成することを特徴とする請求項１２乃至１９の何れか１に記載の画像生成装置。
21. 上記ステレオ撮像光学系により結像された複数の並列被写体像の数は、左右両眼に対応する２であることを特徴とする請求項１２乃至２０の何れか１に記載の画像生成装置。

Images