JP2012028915A

JP2012028915A - 撮像装置

Info

Publication number: JP2012028915A
Application number: JP2010163905A
Authority: JP
Inventors: Tomohiro Yonezawa; 友浩米澤; Hiroshi Watanabe; 浩渡辺; Ichiro Kurihara; 一郎栗原; Shuji Kozai; 周二香西
Original assignee: Kantatsu Co Ltd
Current assignee: Kantatsu Co Ltd
Priority date: 2010-07-21
Filing date: 2010-07-21
Publication date: 2012-02-09

Abstract

【課題】１つの撮影光学系と、左右の視差測定用光学系を用いて、立体撮影を行うことができるようにする。
【解決手段】第１撮像レンズ１２と、この第１撮像レンズ１２の両側には位置する左右一対の第２の測距用レンズ１３及び第３の測距用レンズ１４を備え、第２の測距用レンズ１３と第３の測距用レンズ１４で撮影した２画像の画像情報によって視差に応じた被写体距離を算出する。この被写体距離に基づいて第１撮像レンズ１２で撮影した画像内の被写体画像を左右に横ずらしするように画像処理して立体画像を生成する。
【選択図】図１

Description

本発明は、１つの撮影光学系と、左右の視差測定用光学系を用いて、立体撮影を撮像する撮像装置に関する。

立体画像を撮影する立体撮像装置は、被写体画像の右目情報と左目情報の視差によって立体像を形成するものであるが、その方法の一つとして前記右目情報と左目情報を別々の撮影光学系によって取り込み、一つの撮影素子に結像させる方法がある。前記右目情報と左目情報の取り込み方法として従来から種々の方法が提案されており、例えば、特許文献１には、第１の方向に偏光軸を有する偏光板が光路上に設けられた第１撮影光学系と、前記第１の方向と直交する第２の方向に偏光軸を有する偏光板が光路上に設けられた第２撮影光学系とが同数づつ交互に配列され、前記第１撮影光学系と前記第２撮影光学系のそれぞれの被写体が結像する撮影素子とを備え、前記撮影素子からの画像データを読み出して立体画像を形成する左右二つの画像データを形成する撮影装置が提案されている。

特開２０１０−５６８６５号公報

しかしながら前記特許文献１に示す被写体画像の取込方法は、２つの撮影光学系を用いて右目情報と左目情報を形成する方法であるため、違和感のない立体画像を形成するためには、２つの光学系の諸特性（焦点距離、感度など）を厳格に合わせる必要がある。この実現のためには、光学系の調整を入念に行わざるを得ず、コストアップを招く、という課題を有している。また、撮像素子上の隣り合った画素間で、直交する偏光軸を形成する必要があり、これもやはりコストアップを招く要因となる。

本発明は上述した問題点に鑑みてなされたものであり、１つの撮影光学系と、２つの視差測定用光学系を用いて、立体撮影を行うことができる撮像装置を提供することを目的とする。

請求項１の撮像装置は、中央部に位置して被写体を撮影する第１撮影光学系と、この第１撮影光学系の両側に位置して前記被写体までの距離を測定する第２の測距用光学系及び第３の測距用光学系と、前記第１撮影光学系によって形成される画像を取り込むための第１の撮像素子と、前記第２の測距用光学系によって形成される画像を取り込むための第２の撮像素子と、前記第３の測距用光学系によって形成される画像を取り込むための第３の撮像素子と、第２の測距用光学系及び第３の測距用光学系によって形成される画像とを用いて特定の被写体までの距離を測定するための第１の画像処理手段と、前記特定の被写体までの距離に応じて、前記第１の撮像素子によって得られた画像を加工するための第２の画像処理手段とを備え、前記第１撮影光学系によって形成された画像から立体画像を形成する左右２つの画像データを生成することを特徴とする。

請求項１記載の撮像装置で、立体画像を形成する左右の画像データを生成するには以下の手順で行う。

まず、前記第１撮影光学系と、第２の測距用光学系、第３の測距用光学系による画像を、それぞれ第１の撮像素子、第２の撮像素子、第３の撮像素子で取り込む。前記第２の測距用光学系と第３の測距用光学系は、基線長Ｌだけ前記撮影光学系の光軸を挟んで離間しているため、視野内の特定の被写体に関して、その被写体までの距離に応じて、画面内での位置に差が生じる（いわゆる視差を生じる）。

この視差δと、基線長Ｌ、撮影装置から被写体までの距離ｄは以下の数１で表される。

取込後、第２の撮像素子の画像情報と第３の撮像素子の画像情報との間で減算処理を行い、差分を出力する。差分画像から輪郭抽出を行うと同時に、パターンマッチングを行って抽出像の同定を行い、２画像間の視差を検出する。この視差から物体までの距離ｄを前記式１を用いて求める。この距離ｄを被写体距離と呼称する。

ここまでの処理で前記第２の測距用光学系及び第３の測距用光学系の視野内の被写体（特定の被写体）のマーキングと、距離測定が完了する。この情報を第２の画像処理手段に入力し、前記第１撮影光学系で得た画像内の被写体画像を、前記被写体距離ｄに応じて横ずらしし、立体画像を形成するための右側画像と、左側画像を形成する。すなわち、前記被写体距離ｄの横ずらし量の関係は前記式１で得られるから、式１で得られた量に応じた横ずらし量を与える。

横ずらしされた後の画像には、横ずらしによって生じた空白部分が残るが、この部分は前記第２の測距用光学系及び第３の測距用光学系によって得られた画像情報を用いて補完処理を行う。

本発明の撮像装置によれば、第１撮影光学系に対して平行に配置された第２の測距用光学系及び第３の測距用光学系による画像を取り込むための第２の撮影素子及び第３の撮影素子から被写体距離を検出し、その被写体距離に応じた視差による右側画像と、左側画像の横ずらし量を演算し、このデータに基づいて第１撮影光学系で撮像した画像を画像処理して左右２つの画像データを生成することができる。

これにより、複数の特性が完全に一致する撮影光学系や複雑な撮像素子を用いることなく、簡単な構成によって立体画像を生成することができる。

本発明による３Ｄカメラを示す平面方向から見た概略説明図である。同上、３Ｄカメラを示す側面方向から見た概略説明図である。同上、３Ｄカメラのブロック図である。

以下、添付図面を参照して本発明の一実施例を説明する。図１及び図２に示すように、本発明による３Ｄカメラ（撮像装置）１０は、略直方体形状のカメラ本体１１の前面中央部に第１撮影光学系を構成する撮像レンズ１２を設けるとともに、その撮像レンズ１２の両側に位置して左右一対の第２の測距用レンズ１３（第２の測距用光学系）と第３の測距用レンズ１４（第３の測距用光学系）とを配置している。また、カメラ本体１１の上面には、電源ボタン１５、撮影ボタン１６及び第１撮影レンズ１２を前後にスイングさせてズーミングするズーム操作ボタン１９が配置され、カメラ本体１１の側面には、画像を表示する表示手段である撮影再生切り替えボタン１８、その他の撮影条件などをＬＣＤパネル１７に表示されたメニューから選択したり、撮影画像の保存や消去を行う操作ボタン２０が設けられている。また、カメラ本体１１の底面には、画像データが記憶されるメモリカード２１が着脱自在に装填されるスロット（図示せず）が設けられ、撮影された画像データはメモリカード２１に書き込まれる。

図３に示すように、３Ｄカメラ１０の電気的構成は、３Ｄカメラ１０は、第１撮像レンズ１２による画像を取り込む第１の撮像素子であるカラーＣＣＤ２２、第２の測距用光学系であるレンズ１３による画像を取り込む第２の撮像素子であるカラーＣＣＤ２３、第３の測距用光学系であるレンズ１４による画像を取り込む第３の撮像素子であるカラーＣＣＤ２４、ＣＰＵ３０、増幅回路３１、Ａ／Ｄ変換回路３２、前記カラーＣＣＤ２３及びカラーＣＣＤ２４によって得られた画像間の演算処理を行う第１の画像信号処理回路３３（第１の画像処理手段）、カラーＣＣＤ２２によって得られた画像より立体画像を形成する右画像及び左画像を生成する第２の画像信号処理回路３４（第２の画像処理手段）、圧縮伸張処理回路３５、ＡＦ／ＡＦ処理回路３６、ＲＯＭ３７、ＲＡＭ３８、ＳＤＲＡＭ３９、ＬＣＤドライバ４０及びメディアコントローラ４１がデータバス５０に接続されている。

前記ＣＰＵ３０は、ＲＯＭ３７に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ３８に読み出しで実行する。第２のカラーＣＣＤ２３及び第３のカラーＣＣＤ２４から出力させた撮像信号は、ＣＤＳ（相関二重サンプリング回路、図示しない）で第２のカラーＣＣＤ２３及び第３のカラーＣＣＤ２４の各受光素子の蓄積電荷量に対応した赤、緑、青の画像データに変換された後、増幅回路３１で増幅され、Ａ／Ｄ変換回路３２でデジタルの画像データに変換される。Ａ／Ｄ変換回路３２から出力された画像データは、データバス５０を介してＳＤＲＡＭ３９に一時的にストアされる。第１の画像信号処理回路３３は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、γ補正処理などを施した後、除算処理を施して再度ＳＤＲＡＭ３９に記憶する。ＳＤＲＡＭ３９に記憶された前記除算処理を施して画像は、第３の画像信号処理回路４３によって読み出され、輪郭抽出及びパターンマッチング処理が施され、被写体画像の抽出及び同定が行われる。更にパターンマッチングにより同一被写体と同定された画像間の距離が求められ、その距離情報はＳＤＲＡＭ３９に保管される。

一方、第１のカラーＣＣＤ２２から出力された撮像信号は、ＣＤＳ（相関二重サンプリング回路、図示しない）で、第１のカラーＣＣＤ２２の受光素子の蓄積電荷量に対応した赤、緑、青の画像データに変換された後、増幅回路３１で増幅され、Ａ／Ｄ変換回路３２でデジタルの画像データに変換される。Ａ／Ｄ変換回路３２から出力された画像データは、データバス５０を介してＳＤＲＡＭ３９に一時的にストアされる。第２の画像信号処理回路３４は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、γ補正処理などを施した後、輪郭抽出を行って特定の被写体をラベリングする。ラベリングを行った後、ＳＤＲＡＭ３９に保存されている距離情報を読み出し、ラベリングした前記被写体各々に横ずらし処理を施す。更にＳＤＲＡＭ３９から、第２のカラーＣＣＤ２３から形成された画像を読み出し、横ずらしにて空白となった領域を補完処理で埋める。この処理を横ずらし方向を逆にして２度施し、右側画像及び左側画像を形成する。横ずらし処理及び補完処理を施した２種の画像は、再度ＳＤＲＡＭ３９に記憶される。ＳＤＲＡＭ３９には、複数の画像及び距離情報を記憶する複数のメモリエリアがあり、一方からの呼び出し中に、他方に書き込みをすることができる。圧縮伸張処理回路３５は、第３の画像信号処理回路４２で画像圧縮処理が施された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４１を経由してメモリカード２１に記憶される。

以上のように構成される本実施例における３Ｄカメラ１０は、第１撮像レンズ１２の左右両側に配置される第２の測距用レンズ１３と第３の測距用レンズ１４は基線長Ｌだけ、前記第１撮影レンズ１２の光軸を挟んで離間しているため、これら第２の測距用レンズ１３と第３の測距用レンズ１４から特定の被写体までの距離に応じて、視差が生じ、この視差を第２の測距用レンズ１３と第３の測距用レンズ１４で撮影した２画像の画像情報によって検出し、この視差から被写体距離ｄを前記式１、すなわち、ｄ＝ｆＬ／δ（ｆ：第２の測距用光学系及び第３の測距用光学系の焦点距離）によって用いて求め、この情報に基づいて撮像レンズ１２で得た画像内の被写体画像を、前記被写体距離ｄに応じて横ずらし処理を施すことによって立体画像を生成する。

これにより、複数の特性が完全に一致する撮影光学系や複雑な撮像素子を用いることなく、簡単に立体画像を生成することができる。また、横ずらしされた後の画像には、横ずらしによって生じた空白部分が残るが、この空白部分を第２、第３の測距用レンズ１３及び１４から得られた画像情報を用いて補完処理を行うことによって違和感のない立体画像が得られる。

以上、本発明の実施例について詳述したが、本発明は、前記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、前記実施例では、撮像素子としてＣＣＤを示したが、これに限るものではなく、撮像素子の一部或いは全てをＣＭＯＳイメージセンサを用いても構わない。また、３Ｄカメラ１０の基本的構成も適宜選定すればよい。

１０３Ｄカメラ（撮像装置）
１２第１撮像レンズ（第１撮影光学系）
１３第２の測距用レンズ（第２の測距用光学系）
１４第３の測距用レンズ（第３の測距用光学系）
２２第１のカラーＣＣＤ（第１の撮像素子）
２３第２のカラーＣＣＤ（第２の撮像素子）
２４第３のカラーＣＣＤ（第３の撮像素子）
３３第１の画像信号処理回路（第１の画像処理手段）
３４第２の画像信号処理回路（第２の画像処理手段）

Claims

中央部に位置して被写体を撮影する第１撮影光学系と、
この撮影光学系の両側に位置して前記被写体までの距離を測定する第２の測距用光学系及び第３の測距用光学系と、
前記第１撮影光学系によって形成される画像を取り込むための第１の撮像素子と、
前記第２の測距用光学系によって形成される画像を取り込むための第２の撮像素子と、
前記第３の測距用光学系によって形成される画像を取り込むための第３の撮像素子と、
第２の測距用光学系及び第３の測距用光学系によって形成される画像とを用いて特定の被写体までの距離を測定するための第１の画像処理手段と、
前記特定の被写体までの距離に応じて、前記第１の撮像素子によって得られた画像を加工するための第２の画像処理手段とを備え、
前記第１撮影光学系によって形成された画像から立体画像を形成する左右２つの画像データを生成することを特徴とする撮影装置。