JP2012065204A - 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 - Google Patents

複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 Download PDF

Info

Publication number
JP2012065204A
JP2012065204A JP2010208561A JP2010208561A JP2012065204A JP 2012065204 A JP2012065204 A JP 2012065204A JP 2010208561 A JP2010208561 A JP 2010208561A JP 2010208561 A JP2010208561 A JP 2010208561A JP 2012065204 A JP2012065204 A JP 2012065204A
Authority
JP
Japan
Prior art keywords
imaging
imaging unit
luminance component
unit
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010208561A
Other languages
English (en)
Inventor
Kei Tashiro
圭 田代
Akira Sai
彬 斉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010208561A priority Critical patent/JP2012065204A/ja
Publication of JP2012065204A publication Critical patent/JP2012065204A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】複数の撮像部を用いて撮像を行う複眼撮像装置において、各撮像部に構成されるレンズ、CMOSセンサ等の部品にはばらつきがあり、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する等利便性の点で問題があった。この問題を解決した複眼撮像装置を提供することが課題になっていた。
【解決手段】実施形態の複眼撮像装置は、第1の撮像部および第2の撮像部を用いて撮像を行う撮像手段を備える。また、前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段を備える。また、前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定する設定手段を備える。
【選択図】 図1

Description

本発明の実施形態は、複数の撮像部を用いて撮像を行う複眼撮像装置に関する。
近年、立体画像(3D画像)を表示可能な家庭用TVやPC等が普及しつつある。
そして、これらの立体画像表示機器等で表示可能な立体画像を撮像可能な、複数の撮像部を用いて撮像を行う複眼撮像装置の需要も増加している。
複眼撮像装置において露出の自動的な制御、すなわち自動露出制御(AE制御)を行う場合、複数の撮像部を備えるため、複数の撮像部から出力される映像信号レベル、特に輝度レベルを整合させる必要がある。
しかし、実際には、撮像部に構成されるレンズ、CMOSセンサ等の部品にはばらつきがあり、例えば同じ被写体を同じ露光時間で撮像しても、複数の撮像部から出力される映像信号に輝度差が発生してしまうという問題があった。
この問題を解決するために、例えば、複数の撮像部を独立に制御させ輝度差を補正する方法が考えられる。
しかし、この方法は、複数の撮像部で独立にフィードバックループが動くため、被写体の変化による明るさの変化点が一致しない場合があり、その結果、被写体の輝度変化がある環境において輝度差が発生する可能性があり、問題があった。
また、他に、複数の撮像部の感度差を予め補正しておく方法が考えられる。
しかし、この方法は、例えば撮像部のレンズを交換した際など使用環境の変化に応じ、その都度、ユーザ自身が輝度補正を実施する必要があり、利便性の点で問題があった。
特開2009−17457号公報
複数の撮像部を用いて撮像を行う複眼撮像装置において、各撮像部に構成されるレンズ、CMOSセンサ等の部品にはばらつきがあり、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する等利便性の点で問題があった。
この問題を解決した複眼撮像装置を提供することが課題になっていた。
実施形態の複眼撮像装置は、第1の撮像部および第2の撮像部を用いて撮像を行う撮像手段を備える。
また、前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段を備える。
また、前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定する設定手段を備える。
実施形態に係わる複眼撮像装置の構成を示すブロック図。 実施形態に係わる複眼撮像装置の第1の撮像部における自動露出制御の構成を説明するブロック図。 実施形態に係わる複眼撮像装置において第1の撮像部および第2の撮像部の輝度成分比を算出するために積算される映像信号の輝度成分を説明する図。 実施形態に係わる複眼撮像装置において輝度成分比を算出する際に、積算された映像信号の輝度成分から除外される領域を説明する図。 実施形態に係わる複眼撮像装置の動作を説明するフローチャート。 他の実施形態に係わる複眼撮像装置の構成を示すブロック図。 実施形態に係わる複眼撮像装置の動画における補正動作の一例を説明するフローチャート。
以下、図面を参照し、実施の形態を説明する。
図1は、実施形態に係わる複眼撮像装置の構成を示すブロック図である。
符号1は複眼撮像装置である。符号11はカメラヘッド、符号12はCCU(カメラコントロールユニット)、符号13は合成処理部(合成LSI)、符号14は映像表示部(LCD)である。
符号15は、CCU(カメラコントロールユニット)12に構成される信号処理部(信号処理LSI)である。
符号16aはレンズ1、符号16bはレンズ2、符号17aは撮像部、符号17bは撮像部2、符号18aはA/D変換部1、符号18bはA/D変換部2である。
符号19aは線形処理部1、符号19bは線形処理部2、符号20aは積算部1、符号20bは積算部2、符号21aは信号処理部1、符号21bは信号処理部2である。
符号30はMPUである。
カメラヘッド11には、レンズ1(16a)、レンズ2(16b)、撮像部1(17a)、撮像部2(17b)、A/D変換部1(18a)、A/D変換部2(18b)が構成される。
また、CCU(カメラコントロールユニット)12には上記のように、信号処理部(信号処理LSI)15が構成される。
また、信号処理部(信号処理LSI)15には、線形処理部1(19a)、線形処理部2(19b)、積算部1(20a)、積算部2(20b)、信号処理部1(21a)、信号処理部2(21b)が構成される。
この実施の形態においては、カメラヘッド11は、複眼撮像装置1の筐体内部に収納され、いわゆるカメラ一体型の構成になっている。
また、図に示すように、複眼撮像装置1は複数、すなわち少なくとも2系統の撮像部および信号処理部を備えている。
ここでは、第1の系統は、レンズ1(16a)で集光された光が撮像部1(17a)で撮像され、信号処理LSI(15)で映像処理され、映像出力1が出力される系統である。また、第2の系統は、レンズ2(16b)で集光された光が撮像部2(17b)で撮像され、信号処理LSI(15)で映像処理され、映像出力2が出力される系統である。
まず、上記第1の系統を説明する。
複眼撮像装置1において撮像が行われると、レンズ1(16a)で集光され、この集光された光が撮像部1(17a)に入力される。撮像部1(17a)はCCDやCMOSセンサが構成されるが、ここではCMOSセンサを利用する。そして、MPU30によって撮像部1(17a)の電子シャッタが制御され撮像が行われる。
撮像によって撮像部1(17a)から出力された映像信号はA/D変換1(18a)に入力される。A/D変換1(18a)は入力されたアナログ信号である映像信号をデジタル信号に変換して出力する。
A/D変換1(18a)から出力されたデジタル信号に変換された映像信号は、信号処理LSI(15)に入力される。
信号処理LSI(15)は、入力されたデジタル信号の映像信号を線形処理部1(19a)に入力する。
線形処理部1(19a)は、Gain制御部1および、WB(ホワイトバランス)制御部1を備えている。線形処理部1(19a)は入力されたデジタル信号の映像信号にGain制御および、WB(ホワイトバランス)制御を行い、Gain制御および、WB(ホワイトバランス)制御が行われた映像信号を出力する。
線形処理部1(19a)から出力されたGain制御および、WB(ホワイトバランス)制御が行われた映像信号は、積算部1(20a)および信号処理部1(21a)に入力される。
積算部1(20a)は、1画面(フレーム)、すなわちWB(ホワイトバランス)制御が行われた映像信号の輝度レベルを積算する回路である。積算部1(20a)は、WB(ホワイトバランス)制御が行われた映像信号が入力され、輝度レベルを積算し、MPU30に向けて出力する。
MPU30は、CCU(カメラコントロールユニット)12や信号処理部(信号処理LSI)15に接続され、これらを制御する。
また、信号処理部1(21a)は受信した映像信号にγ(ガンマ)補正や輪郭補正等の非線形処理を行い、合成処理部13に出力する(映像出力1)。
映像出力1の映像は静止画または動画であるが、動画の場合も静止画が連続した映像、すなわち静止画が画面(フレーム)毎にコマ送りされたような信号である。
次に、上記第2の系統を説明する。
上記と同様に、複眼撮像装置1において撮像が行われると、レンズ2(16b)でも集光され、撮像部2(17b)に入力される。撮像部2(17b)もCMOSセンサを利用する。そして、MPU30によって撮像部2(17b)の電子シャッタが制御され撮像が行われる。
撮像によって撮像部2(17b)から出力された映像信号はA/D変換2(18b)に入力される。A/D変換2(18b)は入力されたアナログ信号である映像信号をデジタル信号に変換して出力する。
A/D変換2(18b)から出力されたデジタル信号に変換された映像信号は、信号処理LSI(15)に入力される。
信号処理LSI(15)は、入力されたデジタル信号の映像信号を線形処理部2(19b)に入力する。
線形処理部2(19b)は、Gain制御部2および、WB(ホワイトバランス)制御部2を備えている。線形処理部2(19b)は入力されたデジタル信号の映像信号にGain制御および、WB(ホワイトバランス)制御を行い、Gain制御および、WB(ホワイトバランス)制御が行われた映像信号を出力する。
線形処理部2(19b)から出力されたGain制御および、WB(ホワイトバランス)制御が行われた映像信号は、積算部2(20b)および信号処理部2(21b)に入力される。
積算部2(20b)は、WB(ホワイトバランス)制御が行われた映像信号が入力され、輝度レベルを積算し、MPU30に向けて出力する。
MPU30は、CCU(カメラコントロールユニット)12や信号処理部(信号処理LSI)15に接続されこれらを制御する。
また、信号処理部2(21b)は受信した映像信号にγ(ガンマ)補正や輪郭補正等の非線形処理を行い、合成処理部13に出力する(映像出力2)。
映像出力2の映像も静止画または動画であり、動画の場合は上記と同様に、静止画が連続した映像、すなわち静止画が画面(フレーム)毎にコマ送りされたような映像信号である。
合成処理部13は、上記映像出力1および映像出力2を受信し、例えば3D表示等の合成処理を行った映像信号を映像処理部14に出力する。
映像処理部14は、映像信号を受信し、LCD等の映像表示部に表示出力する。
この実施の形態においては、上記のように少なくとも2系統の撮像部および信号処理部を構成するが、このうちの1系統は自動露出制御を行う。
そして、まず、この自動露出制御を行う1系統から出力される上記映像出力1は、被写体の明るさに応じた適正な明るさを得るようにする。
この実施の形態においては、複数の撮像部から出力される映像信号の輝度成分を、例えば1画面(フレーム)分、それぞれ積算し、このそれぞれ積算された積算値間の輝度比を算出し、この算出された輝度比を用いて複数の撮像部間の撮像に係る露光時間を調整するようにしている。
具体的には、基準とする撮像部の露光時間を決定し、他の撮像部の露光時間は基準とする撮像部の露光時間に上記算出された輝度比を用いて演算し、調整値として求めることが可能である。
まず、基準とする撮像部の露光時間を決定する方法を一例として、説明する。
図2は、実施形態に係わる複眼撮像装置の第1の撮像部における自動露出制御の構成を説明するブロック図である。
ここでは、上記第1の系統の第1の撮像部(16a)を用いて説明する。
この実施の形態においては、撮像部1(17a)は、電子シャッタ機能を有するCMOSセンサである。
まず、撮像部1(17a)はMPU30に制御され、予め設定されている露光時間(Time(t))で撮像を行う。この予め設定されている露光時間(Time(t))は、例えば1/60秒である。
電子シャッタ回路を備える撮像部1(17a)のCMOSセンサで、上記露光時間(Time(t))で撮像され、上記のように、信号処理LSI(15)の積算回路1(20a)に向けて映像信号が出力される。このとき、この撮像部1(17a)のCMOSセンサから出力される映像信号は、映像出力信号(Out(t))である。
信号処理LSI(15)の積算回路1(20a)は、この映像出力信号(Out(t))を受信し、画像1画面(フレーム)分の映像信号の輝度成分を積算する。この輝度成分が1画面(フレーム)分積算された積算結果を積算結果(Sum(t))とする。
MPU30には、予め適正露出となるように設定された目標レベル(Ref)が記録されている。そして、MPU30は、上記積算結果(Sum(t))と上記目標レベル(Ref)との偏差(e(t))を求め、これをMPU30内のコントローラへ入力する。
MPU30内のコントローラは、現在の撮像が行われた露光時間(Time(t))と上記求められた偏差(e(t))を用い、この偏差(e(t))がゼロに近づくように次回の露光時間(Time(t+1))を算出する。
そして、算出された次回の露光時間(Time(t+1))を撮像部1(17a)のCMOSセンサに設定する。
なお、露光時間の設定は、一般的に、輝度変化が急激に発生しないよう、ある程度の時間をかけて偏差がゼロになるように設定される。
この実施の形態においては、上記のフィードバック制御を行うことにより、第1の撮像部(16a)の自動露出制御が実現される。
このようにして、基準となる撮像部1(17a)の露光時間が決定される。
なお、上記説明においては、説明を簡略化するため単板式の電子シャッタを用いて説明を行ったが、この実施の形態においては、単板式の電子シャッタを適宜3板式の電子シャッタに適用することも可能である。
次に、複数の撮像部から出力される映像信号の輝度成分の比を求め、この輝度比を用いて各撮像部の露光時間を調整する方法を一例として、説明する。
複眼撮像装置においては、上記映像出力2は上記映像出力1と同じ明るさであることが望ましい。
しかし、例えば部品のバラツキ等により、上記レンズ1(16a)とレンズ2(16b)の絞りに差があったり、撮像部1(17a)と撮像部2(17b)の感度に差がある場合は、撮像部1(17a)と撮像部2(17b)の露光時間を同じ値に設定しても、上記映像出力1と映像出力2では輝度差が発生してしまう。
そこで、この実施の形態においては、現在の撮像の露光時間と上記映像信号の輝度成分の積算値から、撮像部1(17a)および撮像部2(17b)の2系統それぞれの単位時間当たりの積算値を求める。
そして、例えば、これが1:1となるように補正を行うことで、映像出力2を映像出力1と同じ明るさになるように制御することが可能である。
ここで、第1の系統の時間tでの積算値をSum1(t)、第1の系統の時間tでの露光時間をTime1(t)、第1の系統の時間t+1での露光時間をTime1(t+1)、第2の系統の時間tでの積算値をSum2(t)、第2の系統の時間tでの露光時間をTime2(t)、第2の系統の時間t+1での露光時間をTime2(t+1)と定義する。
第1の系統、第2の系統の単位時間あたりの積算値は、次のように求められる。
第1の系統の単位時間当たりの積算値は式(1)で求められる。
Figure 2012065204
第2の系統の単位時間当たりの積算値は式(2)で求められる。
Figure 2012065204
また、Sum_per_Time(t)は被写体に依存し変化するが、Sens_Ratio(t)は常に一定となり、Sum_per_Time1(t)とSum_per_Time2(t)の差がレンズ、撮像部を含めた感度の比率に相当する。
上記のように、第1の系統は上記説明した自動露出制御により動作する。その結果、次回の露光時間Time1(t+1)が算出されるが、第2の系統の次回の露光時間Time2(t+1)は、上記感度比を打ち消すように、以下の式(3)のように露光時間の設定値を補正する。
Figure 2012065204
ここで、第1の系統と第2の系統の感度比は以下式(4)の通りである。
Figure 2012065204
例えば、第1の系統と第2の系統の感度比が1:2の場合は、上記Sens_Ratio(t)=0.5となり、第2の系統の露光時間は、第1の系統の露光時間の半分の設定となる。
なお、上記は簡単な感度比を例にとり説明したが、通常は上記感度比は10〜20%程度が予想される。
この実施の形態においては、自動露出制御(AE制御)を1つの撮像部(ここでは第1の系統)において実施するため、フィードバックループは1つとなり第1の系統と第2の系統の明るさの変化を一致させることが可能である。
図3は、実施形態に係わる複眼撮像装置において第1の撮像部および第2の撮像部の輝度成分比を算出するために積算される映像信号の輝度成分を説明する図である。
上記のように、この実施の形態においては、撮像部1(17a)から出力された映像信号の輝度成分が1画面(フレーム)分、積算部1(20a)に積算される。また、同様に、撮像部2(17b)から出力された映像信号の輝度成分が1画面(フレーム)分、積算部2(20b)に積算される。
ここでは、積算部1(20a)を例にとって説明する。
上記のように、積算部1(20a)には1フレーム(画面)分の映像信号の輝度成分が積算される。このとき、積算部1(20a)には、例えば、1フレーム(画面)分の映像信号の輝度成分の入力積算値は、3×3画素の8ビットを1単位とした8×6個分の信号が積算される。
なお、上記説明は一例であり、積算ブロック数、ビット数、1ブロックの画素数の制限は特に無い。
図4は、実施形態に係わる複眼撮像装置において輝度成分比を算出する際に、積算された映像信号の輝度成分から除外される領域を説明する図である。
ここでも、第1の系統を例にとり、説明する。
この実施の形態においては、積算値と露光時間が比例関係にあることが前提となっているが、実際には、撮像部のダイナミックレンジを超えた光量が入射されると、撮像部から出力される信号が飽和し、積算値と露光時間が非線形となってしまう可能性がある。
そこで、この実施の形態においては、上記のように積算部1(17a)の積算回路の1画面(フレーム)分を複数の領域に分割し、個別に積算値を取得できるような構成としている。
そして、図に示すように領域a1、領域a2、領域b1、領域b2に飽和信号が含まれているとする。符号50は飽和信号が含まれる領域である。ここでは例えば、太陽が撮像されている。
ここでは、この飽和信号が含まれる領域50以外は、積算値と露光時間が比例関係にあるので、この実施の形態においては、この飽和信号が含まれる領域50を除外し、残りの領域の単位時間当たりの映像信号の輝度成分の積算値を求めることで、正しい結果を得ることが可能である。
また、次に、感度比を安定化させる方法について説明する。
例えば、撮像部1(17a)にランダムノイズ等が混入し、入射光量が一定の場合でも映像信号の輝度成分の積算値が変動する場合が考えられる。
このとき、撮像部1(17a)の感度比もノイズの影響を受け、変動するため、第1の系統の映像出力と第2の系統の映像出力に微小な差が発生する可能性がある。
この実施の形態においては、これを回避することが可能である。すなわち、撮像部1(17a)の感度比を、例えば複数フレーム分取得し、平滑化することで安定化させることが可能である。次の式(5)は例えば、5フレームの平均をとるフィルタの例である。
Figure 2012065204
なお、平滑化はこれに限られず、他の方法を用いることも可能である。
図5は、実施形態に係わる複眼撮像装置の動作を説明するフローチャートである。
符号S100はここでの開始ステップである。続いて符合S101を付したステップへ進む。
符号S101は撮像部露光時間の補正指示を受信したかを判別するステップである。撮像部露光時間の補正指示は、例えば複眼撮像装置1の電源がONとなった場合に、これに連動して複眼撮像装置1のMPU30が指示するように構成することが可能である。また、撮像部1(17a)または撮像部2(17b)が交換された際等に、図示しない補正指示ボタンが操作されることで補正指示を受信するように構成することも可能である。
また、図7の説明で後述するように、動画の場合はこの補正を毎フレーム行うことも可能である。
補正指示を受信したと判別した場合は符号S102を付したステップへ進む(Yes)。補正指示を受信しないと判別した場合は上記処理を繰り返す(No)。
符号S102は撮像部1(17a)は、MPU30に設定された撮像露光時間(例えば1/60秒)で撮像するステップである。続いて符合S103を付したステップへ進む。
符号S103はMPU30は撮像部1(17a)から出力された映像信号の輝度成分を1フレーム分積算し、予め決められた目標レベルとの偏差を求めるステップである。続いて符合S104を付したステップへ進む。
符号S104は偏差がゼロに近づくようにフィードバック制御を行い、1フレームの撮像露光時間をMPU30に設定するステップである。例えば、撮像露光時間を1/60±α秒にする。続いて符合S105を付したステップへ進む。
符号S105は撮像部1(17a)および撮像部2(17b)は、MPU30に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で同時に撮像するステップである。続いて符合S106を付したステップへ進む。
符号S106は撮像部1(17a)から出力された映像信号の輝度成分を1フレーム分積算するステップである。続いて符合S107を付したステップへ進む。
符号S107は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合S108を付したステップへ進む。
符号S108は撮像部2(17b)から出力された映像信号の輝度成分を1フレーム分積算するステップである。続いて符合S109を付したステップへ進む。
符号S109は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B2を求めるステップである。続いて符合S110を付したステップへ進む。
符号S110は両者の輝度成分比、例えばB1/B2を求めるステップである。続いて符合S111を付したステップへ進む。
符号S111は上記輝度成分比に基づいて撮像部2(17b)の撮像露光時間を求めるステップである。例えば、MPU30に設定されている撮像部1(17a)の撮像露光時間(1/60±α秒)をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部2(17b)の撮像露光時間を求め、MPU30に設定する。(例えば、撮像部2の撮像露光時間=(1/60±α秒)×(1/(B1/B2)))続いて符合S112を付したステップへ進む。
符号S112はMPU30は設定されている撮像露光時間に基づいて撮像部1(17a)および撮像部2(17b)の撮像を制御するステップである。続いて符合S113を付したステップへ進む。
符号S113は終了ステップであり、ここでの処理は終了する。
また、上記図1を用いた説明においては、電子シャッタを制御して自動露出制御を行う技術を説明したが、この実施の形態においては、利得制御(ゲイン制御)を用いて自動露出制御を行うことも可能であり、この例を次の通り説明する。
時間tにおける上記第1の系統と上記第2の系統の感度比Sens_Ratio(t)は、次の式(6)、(7)、(8)により算出される。
Figure 2012065204
ここで、Sum_per_Gain1(t)は第1の系統の時間tでの単位利得あたりの積算値、Sum_per_Gain2(t)は第2の系統の時間tでの単位利得あたりの積算値、Gain1(t)は第1の系統の時間tでのゲイン、Gain2(t)は第2の系統の時間tでのゲインである。
上記と同様に、第1の系統は上記自動露出制御により動作し、その結果、次回のゲインGain1(t+1)が算出される。この実施の形態においては、第2の系統の次回のゲインGain2(t+1)は、上記感度比を打ち消すように、以下の式(9)に示すようにゲインの設定値を補正し、自動露出制御を行うことが可能である。
Figure 2012065204
図6は、他の実施形態に係わる複眼撮像装置の構成を示すブロック図である。
上記図1と同じ構成については、同一の符号を付し、説明を省力する。
この実施の形態においては、カメラヘッド11は、複眼撮像装置1の筐体とは分離され、MPU30とケーブル等を介して接続された、いわゆるヘッド分離型カメラの構成をとっている。
図7は、実施形態に係わる複眼撮像装置の動画における補正動作の一例を説明するフローチャートである。
動画を撮像する場合においては、この動作は常に実行される。
符号S200はここでの開始ステップである。続いて符合S201を付したステップへ進む。
符号S201は前回の設定で露光するステップである。例えば撮像部1(17a)は撮像露光時間(1/60秒±α)、撮像部2(17b)は撮像露光時間(1/60秒±β)である。続いて符合S202を付したステップへ進む。
符号S202は撮像部1(17a)から出力された映像信号の輝度成分を1フレーム分積算するステップである。続いて符合S203を付したステップへ進む。
符号S203は上記積算された輝度成分に上記撮像部1(17a)に設定された撮像露光時間(1/60±α秒)で除算あるいはこの逆数を乗算し、単位時間あたりの輝度成分B1を求めるステップである。続いて符合S204を付したステップへ進む。
符号S204は撮像部2(17b)から出力された映像信号の輝度成分を1フレーム分積算するステップである。続いて符合S205を付したステップへ進む。
符号S205は露光時間(1/60±β)で除算し、単位時間あたりの輝度成分B2を求めるステップである。続いて符合S206を付したステップへ進む。
符号S206は両者の輝度成分比、例えばB1/B2を求めるステップである。続いて符合S207を付したステップへ進む。
符号S207は上記輝度成分比に基づいて撮像部2(17b)の撮像露光時間を求めるステップである。例えば、MPU30に設定されている撮像部1(17a)の撮像露光時間(1/60±α秒)をこの輝度成分比で除算またはこの輝度成分比の逆数を乗算し、撮像部2(17b)の撮像露光時間を求め、MPU30に設定する。例えば、撮像部2の撮像露光時間=(1/60±α秒)×(1/(B1/B2)である。続いて符合S208を付したステップへ進む。
符号S208はMPU30は設定されている撮像露光時間に基づいて撮像部1(17a)および撮像部2(17b)の撮像を制御するステップである。続いて符合S209を付したステップへ進む。
符号S209は終了ステップであり、ここでの処理は終了する。
また、上記説明においては、第1の系統の映像信号と第2の系統の映像信号の輝度比の算出において、単位時間当たりの映像信号の輝度成分の積算値を用いたが、映像信号の輝度成分を積算する時間が同じであれば映像信号の輝度成分の積算値そのものを用いることも可能である。
また、この実施の形態は、上記露光時間の制御に限られることなく、ゲイン(利得)制御にも適用可能である。
また、カメラヘッド分離型、カメラヘッド一体型のどちらの複眼撮像装置も適用可能である。また、複眼撮像装置に用いられる撮像部の構成も、単板式、3板式のどちらでも適用可能である。
上記のように構成することによって、複眼撮像装置において、複数の撮像部から出力される映像信号に輝度差が発生してしまう場合やユーザ自身が輝度補正を実施する必要がある等の問題を低減することが可能となる。
なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
1…複眼撮像装置、11…カメラヘッド、12…CCU(カメラコントロールユニット)、13…合成処理部(合成LSI)、14…映像表示部(LCD)、15…信号処理部(信号処理LSI)、16a…レンズ1、16b…レンズ2、17a…撮像部1、17b…撮像部2、18a…A/D変換部1、18b…A/D変換部2、19a…線形処理部1、19b…線形処理部2、20a…積算部1、20b…積算部2、21a…信号処理部1、21b…信号処理部2、30…MPU。

Claims (7)

  1. 第1の撮像部および第2の撮像部を備える複眼撮像装置において、
    前記第1の撮像部および前記第2の撮像部を用いて撮像を行う撮像手段と、
    前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出する算出手段と、
    前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定する設定手段を備える複眼撮像装置。
  2. 前記第2の撮像部の撮像露光時間は、予め設定されている前記第1の撮像部の撮像露光時間に基づいて設定される請求項1に記載の複眼撮像装置。
  3. 前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を蓄積する蓄積手段をさらに備え、この蓄積された前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を用いて前記輝度成分比が算出される請求項1に記載の複眼撮像装置。
  4. 前記蓄積された第1の映像信号の輝度成分および第2の映像信号の輝度成分の比較は、単位時間あたりの輝度成分を用いて比較する請求項1または請求項3に記載の複眼撮像装置。
  5. 前記輝度成分比の算出は、飽和部を除外した前記第1の映像信号の輝度成分および前記第2の映像信号の輝度成分を用いて行われる請求項3に記載の複眼撮像装置。
  6. 第1の撮像部および第2の撮像部を備える複眼撮像装置に用いられる信号処理装置において、
    第1の撮像部で撮像され出力された第1の映像信号の輝度成分および第2の撮像部で撮像され出力された第2の映像信号の輝度成分比を算出する算出手段と、
    前記算出された輝度成分比に基づいて第2の撮像部の撮像露光時間を設定する信号を出力する信号出力手段を備える信号処理装置。
  7. 第1の撮像部および第2の撮像部を用いて撮像を行うステップと、
    前記第1の撮像部から出力された第1の映像信号の輝度成分および前記第2の撮像部から出力された第2の映像信号の輝度成分比を算出するステップと、
    前記算出された輝度成分比に基づいて前記第2の撮像部の撮像露光時間を設定するステップを備える複眼撮像装置の制御方法。
JP2010208561A 2010-09-16 2010-09-16 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法 Pending JP2012065204A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010208561A JP2012065204A (ja) 2010-09-16 2010-09-16 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010208561A JP2012065204A (ja) 2010-09-16 2010-09-16 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2012065204A true JP2012065204A (ja) 2012-03-29

Family

ID=46060451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010208561A Pending JP2012065204A (ja) 2010-09-16 2010-09-16 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法

Country Status (1)

Country Link
JP (1) JP2012065204A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257423A (ja) * 2012-06-12 2013-12-26 Olympus Corp 光検出システムおよび顕微鏡システム
CN104285443A (zh) * 2012-08-30 2015-01-14 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
WO2016059845A1 (ja) * 2014-10-16 2016-04-21 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
WO2016080218A1 (ja) * 2014-11-21 2016-05-26 オリンパス株式会社 撮像システム
WO2016098736A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像システム
WO2018179623A1 (ja) * 2017-03-30 2018-10-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
US10206554B2 (en) 2014-10-14 2019-02-19 Olympus Corporation Image pickup system with white spot correction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP2008042227A (ja) * 2006-08-01 2008-02-21 Hitachi Ltd 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281379A (ja) * 2001-03-21 2002-09-27 Ricoh Co Ltd 撮像システム
JP2008042227A (ja) * 2006-08-01 2008-02-21 Hitachi Ltd 撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257423A (ja) * 2012-06-12 2013-12-26 Olympus Corp 光検出システムおよび顕微鏡システム
CN104285443A (zh) * 2012-08-30 2015-01-14 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
CN104285443B (zh) * 2012-08-30 2016-09-07 大邱庆北科学技术院 影像亮度调节方法及其装置、立体摄像机
US10206554B2 (en) 2014-10-14 2019-02-19 Olympus Corporation Image pickup system with white spot correction
WO2016059845A1 (ja) * 2014-10-16 2016-04-21 ソニー株式会社 撮像装置、撮像システム、および、撮像装置の制御方法
US10390688B2 (en) 2014-11-21 2019-08-27 Olympus Corporation Image pickup system
WO2016080218A1 (ja) * 2014-11-21 2016-05-26 オリンパス株式会社 撮像システム
WO2016098736A1 (ja) * 2014-12-15 2016-06-23 オリンパス株式会社 撮像システム
JP5989283B1 (ja) * 2014-12-15 2016-09-07 オリンパス株式会社 撮像システム及び信号処理装置
CN106455948A (zh) * 2014-12-15 2017-02-22 奥林巴斯株式会社 摄像***
US10326944B2 (en) 2014-12-15 2019-06-18 Olympus Corporation Image pickup system and signal processing apparatus
WO2018179623A1 (ja) * 2017-03-30 2018-10-04 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュール、撮像システムおよび撮像装置の制御方法
KR20190133002A (ko) * 2017-03-30 2019-11-29 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
US11089230B2 (en) 2017-03-30 2021-08-10 Sony Semiconductor Solutions Corporation Capturing apparatus, capturing module, capturing system, and capturing apparatus control method
KR102388259B1 (ko) 2017-03-30 2022-04-18 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치, 촬상 모듈, 촬상 시스템 및 촬상 장치의 제어 방법
TWI775808B (zh) * 2017-03-30 2022-09-01 日商索尼半導體解決方案公司 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法

Similar Documents

Publication Publication Date Title
US9596400B2 (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
JP4594257B2 (ja) ディジタル撮像装置
JP2012065204A (ja) 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法
US20090167928A1 (en) Image processing apparatus and photographing apparatus
JP2014222815A (ja) 撮像装置、制御方法及びプログラム
JP2007243774A (ja) 電子的ぶれ補正装置
KR101431966B1 (ko) 카메라 모듈, 카메라 모듈의 노출 조정 방법 및 전자 기기
KR20140027816A (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP2007243775A5 (ja)
JP2007243775A (ja) 電子的ぶれ補正装置
JP6028928B2 (ja) 撮像装置及び撮像方法
US9277135B2 (en) Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium
JP6333095B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2006262220A (ja) 撮像装置
US9113117B2 (en) Image-taking apparatus and method for controlling the same
KR20130057762A (ko) 자동 초점 조절 장치 및 그 제어방법
JP6838894B2 (ja) 焦点調節装置、その制御方法及びプログラム
US8026965B2 (en) Image pickup apparatus and method for controlling the same
US20060197866A1 (en) Image taking apparatus
JP2010068046A (ja) 撮像装置
JP2018113614A (ja) 撮像装置、および撮像方法、電子機器、並びに信号処理装置
JP2013088446A (ja) 撮像装置
US11218647B2 (en) Imaging apparatus with correction factor scaling of image
JP6429497B2 (ja) 撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130510

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140701