JPH11355650A - 画像取り込み装置 - Google Patents
画像取り込み装置Info
- Publication number
- JPH11355650A JPH11355650A JP10175301A JP17530198A JPH11355650A JP H11355650 A JPH11355650 A JP H11355650A JP 10175301 A JP10175301 A JP 10175301A JP 17530198 A JP17530198 A JP 17530198A JP H11355650 A JPH11355650 A JP H11355650A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image capturing
- unit
- luminance range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 被写体の輝度差に拘わらず常に良好な画像を
得ること。 【解決手段】 第1及び第2撮像素子1、2には、分光
ミラー5により所定の光量分離比に分割された光束が入
射する。輝度範囲検出部10は、被写体Oの輝度範囲を
検出する。ADコンバータ21,22は、両撮像素子
1、2の出力をAD変換するし、合成器6は、第1及び
第2撮像素子1、2のAD変換後の出力を合成して出力
する。制御装置7は、第1撮像素子1による画像情報の
蓄積時間と第2撮像素子2による画像情報の蓄積時間と
を、輝度範囲検出部10によって検出された被写体輝度
範囲に応じて設定する。これにより、被写体Oの輝度差
に応じて第1及び第2撮像素子1、2ごとに蓄積時間を
設定して適切な被写体輝度範囲の画像を取り込むことが
でき、被写体Oの輝度差に応じた良好な画像を得ること
ができる。
得ること。 【解決手段】 第1及び第2撮像素子1、2には、分光
ミラー5により所定の光量分離比に分割された光束が入
射する。輝度範囲検出部10は、被写体Oの輝度範囲を
検出する。ADコンバータ21,22は、両撮像素子
1、2の出力をAD変換するし、合成器6は、第1及び
第2撮像素子1、2のAD変換後の出力を合成して出力
する。制御装置7は、第1撮像素子1による画像情報の
蓄積時間と第2撮像素子2による画像情報の蓄積時間と
を、輝度範囲検出部10によって検出された被写体輝度
範囲に応じて設定する。これにより、被写体Oの輝度差
に応じて第1及び第2撮像素子1、2ごとに蓄積時間を
設定して適切な被写体輝度範囲の画像を取り込むことが
でき、被写体Oの輝度差に応じた良好な画像を得ること
ができる。
Description
【0001】
【発明の属する技術分野】本発明は、静止画像等をデジ
タル信号として取り込む画像取り込み装置に関し、特に
デジタルスチルカメラのダイナミックレンジを拡大する
技術に関する。
タル信号として取り込む画像取り込み装置に関し、特に
デジタルスチルカメラのダイナミックレンジを拡大する
技術に関する。
【0002】
【従来の技術】撮像素子が小型であるほど低価格のカメ
ラが実現可能であるが、画素数の増大に伴い個々の画素
サイズが小さくなり、従来から不足気味であった撮像素
子のダイナミックレンジは更に不足の傾向にある。
ラが実現可能であるが、画素数の増大に伴い個々の画素
サイズが小さくなり、従来から不足気味であった撮像素
子のダイナミックレンジは更に不足の傾向にある。
【0003】その解決策として、露光量を変えた複数の
撮像結果を利用する方法が知られている。
撮像結果を利用する方法が知られている。
【0004】例えば特開平8−223491では、図2
3に示すように分光ミラーにより2つの撮像素子A、B
への入射光量が異なるようになし、入射光量の少ない撮
像素子の出力を増幅して、入射光量の多い撮像素子の出
力と合成してダイナミックレンジの拡大を実現してい
る。
3に示すように分光ミラーにより2つの撮像素子A、B
への入射光量が異なるようになし、入射光量の少ない撮
像素子の出力を増幅して、入射光量の多い撮像素子の出
力と合成してダイナミックレンジの拡大を実現してい
る。
【0005】また、別の方法として、図24に示すよう
に1つの撮像素子CCDを用いて、異なる蓄積時間で連
続して画像を取り込むものも知られている。具体的な動
作について説明すると、まず長い露光時間で画像を取り
込み、一時的にメモリーに記憶する。続けて短い露光時
間で画像を取り込み、先に取り込んでメモリーに記憶し
た画像と合成して、ダイナミックレンジの拡大した合成
を合成する。(例として、論文「車搭載用のダイナミッ
クレンジ拡大方式」電子情報通信学会論文誌1995年
10月号pp.1439) ダイナミックレンジ拡大の原理を図25に示す。ある被
写体に対して露光量を変えた画像を2枚取り込む。この
時、高輝度部分では、露光量の大きい方の画像は飽和す
るが、露光量の小さい方の画像はまだ飽和せず、輝度が
相当高くなってから初めて飽和する。2枚それぞれの露
光量差を考慮の上、低輝度部分では露光量の大きい画像
を用い、高輝度部分では露光量の小さい画像を用いて画
像を合成する。この結果、等価的にダイナミックレンジ
の拡大された画像が得られる。
に1つの撮像素子CCDを用いて、異なる蓄積時間で連
続して画像を取り込むものも知られている。具体的な動
作について説明すると、まず長い露光時間で画像を取り
込み、一時的にメモリーに記憶する。続けて短い露光時
間で画像を取り込み、先に取り込んでメモリーに記憶し
た画像と合成して、ダイナミックレンジの拡大した合成
を合成する。(例として、論文「車搭載用のダイナミッ
クレンジ拡大方式」電子情報通信学会論文誌1995年
10月号pp.1439) ダイナミックレンジ拡大の原理を図25に示す。ある被
写体に対して露光量を変えた画像を2枚取り込む。この
時、高輝度部分では、露光量の大きい方の画像は飽和す
るが、露光量の小さい方の画像はまだ飽和せず、輝度が
相当高くなってから初めて飽和する。2枚それぞれの露
光量差を考慮の上、低輝度部分では露光量の大きい画像
を用い、高輝度部分では露光量の小さい画像を用いて画
像を合成する。この結果、等価的にダイナミックレンジ
の拡大された画像が得られる。
【0006】
【発明が解決しようとする課題】被写体の輝度差はシー
ンによって異なり、1つの撮像素子のダイナミックレン
ジでカバー出きる場合(例えば400倍程度以下)から
数千倍も異なる場合まで様々である。
ンによって異なり、1つの撮像素子のダイナミックレン
ジでカバー出きる場合(例えば400倍程度以下)から
数千倍も異なる場合まで様々である。
【0007】被写体の輝度差が小さい場合は、一対の撮
像素子の露光量が余り変わらない範囲で撮影した方が、
合成の境界の目立たない、良好な画像が合成できる。そ
の一方で、被写体の輝度差が大きい場合は、一対の撮像
素子の露光量を大きく変えて撮影した方がダイナミック
レンジの広い良好な画像が合成できる。
像素子の露光量が余り変わらない範囲で撮影した方が、
合成の境界の目立たない、良好な画像が合成できる。そ
の一方で、被写体の輝度差が大きい場合は、一対の撮像
素子の露光量を大きく変えて撮影した方がダイナミック
レンジの広い良好な画像が合成できる。
【0008】しかし、図23に示す従来例では、一対の
撮像素子の露光量の比が固定されているため、被写体の
輝度差に関係なくいつも固定した被写体輝度範囲の画像
が取り込まれる。そのため、被写体の輝度差の変動に対
応した良好な画像を得ることができない。
撮像素子の露光量の比が固定されているため、被写体の
輝度差に関係なくいつも固定した被写体輝度範囲の画像
が取り込まれる。そのため、被写体の輝度差の変動に対
応した良好な画像を得ることができない。
【0009】また、図24に示す従来例では、連続して
画像を取り込むため、移動する物体を撮影したときに高
輝度部分と低輝度部分に画像のズレが生じることにな
る。
画像を取り込むため、移動する物体を撮影したときに高
輝度部分と低輝度部分に画像のズレが生じることにな
る。
【0010】そこで、本発明は、被写体の輝度差に拘わ
らず常に良好な画像を得ることを目的とする。
らず常に良好な画像を得ることを目的とする。
【0011】
【課題を解決するための手段】上記課題を解決するた
め、本発明の画像取り込み装置は、被写体からの入射光
軸上に配置されて光路を2方向に分離するとともに、光
量分離比を所定値に保つ分割光学系と、分割光学系によ
り分割された1方の光路の光軸上と他方の光路の光軸上
とにそれぞれ配置された第1及び第2撮像手段と、被写
体の輝度範囲である被写体輝度範囲を検出する被写体輝
度範囲検出手段と、第1及び第2撮像手段のそれぞれの
出力をAD変換するAD変換手段と、第1及び第2撮像
手段のAD変換後の出力を合成して出力する合成手段
と、第1撮像手段による画像情報の蓄積時間と第2撮像
手段による画像情報の蓄積時間とを、被写体輝度範囲検
出手段によって検出された被写体輝度範囲に応じて設定
する制御手段とを備えることを特徴とする。これによ
り、被写体の輝度差に応じて第1及び第2撮像手段ごと
に蓄積時間を設定して適切な被写体輝度範囲の画像を取
り込むことができ、被写体の輝度差に応じた良好な画像
を得ることができる。
め、本発明の画像取り込み装置は、被写体からの入射光
軸上に配置されて光路を2方向に分離するとともに、光
量分離比を所定値に保つ分割光学系と、分割光学系によ
り分割された1方の光路の光軸上と他方の光路の光軸上
とにそれぞれ配置された第1及び第2撮像手段と、被写
体の輝度範囲である被写体輝度範囲を検出する被写体輝
度範囲検出手段と、第1及び第2撮像手段のそれぞれの
出力をAD変換するAD変換手段と、第1及び第2撮像
手段のAD変換後の出力を合成して出力する合成手段
と、第1撮像手段による画像情報の蓄積時間と第2撮像
手段による画像情報の蓄積時間とを、被写体輝度範囲検
出手段によって検出された被写体輝度範囲に応じて設定
する制御手段とを備えることを特徴とする。これによ
り、被写体の輝度差に応じて第1及び第2撮像手段ごと
に蓄積時間を設定して適切な被写体輝度範囲の画像を取
り込むことができ、被写体の輝度差に応じた良好な画像
を得ることができる。
【0012】また、好ましい態様では、制御手段が、第
1撮像手段の蓄積時間をT1とし第2撮像手段の蓄積時
間をT2としたときに、蓄積時間T1、T2それぞれの
値、及びその比(T1/T2)を、被写体輝度範囲検出
手段によって検出された被写体輝度範囲に応じて選択す
ることを特徴とする。
1撮像手段の蓄積時間をT1とし第2撮像手段の蓄積時
間をT2としたときに、蓄積時間T1、T2それぞれの
値、及びその比(T1/T2)を、被写体輝度範囲検出
手段によって検出された被写体輝度範囲に応じて選択す
ることを特徴とする。
【0013】また、好ましい態様では、分割光学系への
入射光量に対して、第1撮像手段に分割される光量の割
合をr1とし、第2撮像手段に分割される光量の割合を
r2としたとき、それらの比(r1/r2)を、2〜2
0の範囲内において所定の固定値とすることを特徴とす
る。これにより、画像取り込み装置のダイナミックレン
ジを確保しつつ第1及び第2撮像手段の蓄積時間の差が
極端に大きくなって画質が低下することを防止できる。
入射光量に対して、第1撮像手段に分割される光量の割
合をr1とし、第2撮像手段に分割される光量の割合を
r2としたとき、それらの比(r1/r2)を、2〜2
0の範囲内において所定の固定値とすることを特徴とす
る。これにより、画像取り込み装置のダイナミックレン
ジを確保しつつ第1及び第2撮像手段の蓄積時間の差が
極端に大きくなって画質が低下することを防止できる。
【0014】また、好ましい態様では、比(r1/r
2)を、4〜10の範囲内において所定の固定値とする
ことを特徴とする。
2)を、4〜10の範囲内において所定の固定値とする
ことを特徴とする。
【0015】また、好ましい態様では、制御手段が、画
像取り込みの指示に基づくレリーズ動作時において、第
1及び第2撮像手段の各蓄積時間の中央時刻の差が所定
量以下になるように第1及び第2撮像手段を制御するこ
とを特徴とする。これにより、動きのある被写体でのブ
レを少なくすることができる。
像取り込みの指示に基づくレリーズ動作時において、第
1及び第2撮像手段の各蓄積時間の中央時刻の差が所定
量以下になるように第1及び第2撮像手段を制御するこ
とを特徴とする。これにより、動きのある被写体でのブ
レを少なくすることができる。
【0016】また、好ましい態様では、第1及び第2撮
像手段のいずれかで1回の撮像により得られる画像情報
を一時的に保持する記憶手段を具備するとともに、レリ
ーズ動作時に、第1及び第2撮像素子の各蓄積時間の中
央時刻を所定量以下の違いに制御して静止画を取り込む
場合において、各蓄積時間の蓄積終了時刻の差が所定量
以上である場合は、蓄積時間の短い一方の撮像手段の出
力する画像情報を先に読み出し、一時的に記憶手段に保
持し、続けて蓄積時間の長い他方の撮像手段の出力する
画像情報を読み出し、記憶手段に保持された画像情報と
他方の撮像手段の画像情報とに基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、第1
及び第2撮像素子で画像情報が保持される際の信号劣化
の問題を回避できる。
像手段のいずれかで1回の撮像により得られる画像情報
を一時的に保持する記憶手段を具備するとともに、レリ
ーズ動作時に、第1及び第2撮像素子の各蓄積時間の中
央時刻を所定量以下の違いに制御して静止画を取り込む
場合において、各蓄積時間の蓄積終了時刻の差が所定量
以上である場合は、蓄積時間の短い一方の撮像手段の出
力する画像情報を先に読み出し、一時的に記憶手段に保
持し、続けて蓄積時間の長い他方の撮像手段の出力する
画像情報を読み出し、記憶手段に保持された画像情報と
他方の撮像手段の画像情報とに基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、第1
及び第2撮像素子で画像情報が保持される際の信号劣化
の問題を回避できる。
【0017】また、好ましい態様では、第1及び第2撮
像手段から1回の撮像で出力される画像情報をそれぞれ
一時的に保持する第1及び第2記憶手段を具備するとと
もに、第1及び第2記憶手段に記憶された画像情報に基
づいて合成手段により画像の合成を行うことを特徴とす
る。
像手段から1回の撮像で出力される画像情報をそれぞれ
一時的に保持する第1及び第2記憶手段を具備するとと
もに、第1及び第2記憶手段に記憶された画像情報に基
づいて合成手段により画像の合成を行うことを特徴とす
る。
【0018】また、好ましい態様では、第1及び第2撮
像手段から出力されるそれぞれの画像情報の階調を圧縮
する処理手段をさらに具備するとともに、この処理手段
による階調圧縮後の画像情報に基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、より
広いダイナミックレンジを確保することができる。
像手段から出力されるそれぞれの画像情報の階調を圧縮
する処理手段をさらに具備するとともに、この処理手段
による階調圧縮後の画像情報に基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、より
広いダイナミックレンジを確保することができる。
【0019】また、好ましい態様では、被写体輝度範囲
検出手段が、第1及び第2撮像素子とは別に設けた露光
量検出センサーであることを特徴とする。これにより、
第1及び第2撮像手段の負担が軽減される。
検出手段が、第1及び第2撮像素子とは別に設けた露光
量検出センサーであることを特徴とする。これにより、
第1及び第2撮像手段の負担が軽減される。
【0020】また、好ましい態様では、被写体輝度範囲
検出手段が、第1及び第2撮像素子とは別に設けた多分
割された光電検出素子からなる露光量検出センサーであ
り、この露光量検出センサーは、画像取り込みを行うレ
リーズ動作時のレンズ絞り値及びシャッター速度を決定
するための測光センサーを兼ねることを特徴とする。
検出手段が、第1及び第2撮像素子とは別に設けた多分
割された光電検出素子からなる露光量検出センサーであ
り、この露光量検出センサーは、画像取り込みを行うレ
リーズ動作時のレンズ絞り値及びシャッター速度を決定
するための測光センサーを兼ねることを特徴とする。
【0021】また、好ましい態様では、被写体輝度範囲
検出手段は、第1及び第2撮像手段自身を使用すること
によって実現され、第1及び第2撮像手段の蓄積時間T
1、T2の比(T1/T2)を所定値以上に保ったまま
蓄積時間T1、T2を変化させて被写体輝度範囲を検出
し、この被写体輝度範囲に基づいて最適な蓄積時間T
1、T2の値及び比(T1/T2)を決定し、制御手段
は、レリーズ動作時において、第1及び第2撮像手段を
制御して決定された蓄積時間T1、T2で蓄積を行わせ
ることを特徴とする。これにより、画像取り込み装置の
構造を簡単かつ経済的なものとすることができる。
検出手段は、第1及び第2撮像手段自身を使用すること
によって実現され、第1及び第2撮像手段の蓄積時間T
1、T2の比(T1/T2)を所定値以上に保ったまま
蓄積時間T1、T2を変化させて被写体輝度範囲を検出
し、この被写体輝度範囲に基づいて最適な蓄積時間T
1、T2の値及び比(T1/T2)を決定し、制御手段
は、レリーズ動作時において、第1及び第2撮像手段を
制御して決定された蓄積時間T1、T2で蓄積を行わせ
ることを特徴とする。これにより、画像取り込み装置の
構造を簡単かつ経済的なものとすることができる。
【0022】また、好ましい態様では、合成手段が、第
1及び第2撮像手段の出力する画像情報の輝度が重複す
る輝度重複部分では、輝度に関して連続的に変化する重
み関数を用いて合成を行い、かつ、この重み関数は、被
写体輝度範囲に応じて形やパラメーターが変わることを
特徴とする。これにより、第1及び第2撮像手段の出力
する画像を合成する際の境界での不連続を少なくするこ
とができる。
1及び第2撮像手段の出力する画像情報の輝度が重複す
る輝度重複部分では、輝度に関して連続的に変化する重
み関数を用いて合成を行い、かつ、この重み関数は、被
写体輝度範囲に応じて形やパラメーターが変わることを
特徴とする。これにより、第1及び第2撮像手段の出力
する画像を合成する際の境界での不連続を少なくするこ
とができる。
【0023】また、好ましい態様では、合成手段が、輝
度差の異なる複数の場合に対応して複数のLUT(ルッ
クアップテーブル)を有し、撮像条件に応じてLUTを
切り替えて、第1及び第2撮像手段の出力する画像情報
に基づいて合成を行うことを特徴とする。これにより、
高速処理が可能となる。
度差の異なる複数の場合に対応して複数のLUT(ルッ
クアップテーブル)を有し、撮像条件に応じてLUTを
切り替えて、第1及び第2撮像手段の出力する画像情報
に基づいて合成を行うことを特徴とする。これにより、
高速処理が可能となる。
【0024】また、好ましい態様では、合成手段が、演
算回路により構成されており、第1及び第2撮像手段の
出力する画像情報を所定の重み関数で演算して合成する
とともに、重み関数におけるパラメーターを露光量差に
応じて変更することを特徴とする。これにより、第1及
び第2撮像手段の出力する画像を合成する際の境界での
不連続を少なくすることができる。
算回路により構成されており、第1及び第2撮像手段の
出力する画像情報を所定の重み関数で演算して合成する
とともに、重み関数におけるパラメーターを露光量差に
応じて変更することを特徴とする。これにより、第1及
び第2撮像手段の出力する画像を合成する際の境界での
不連続を少なくすることができる。
【0025】また、好ましい態様では、合成手段が、制
御手段を構成する中央演算処理装置におけるソフトウエ
ア処理により合成処理を行うことを特徴とする。
御手段を構成する中央演算処理装置におけるソフトウエ
ア処理により合成処理を行うことを特徴とする。
【0026】また、好ましい態様では、合成手段が、第
1撮像手段の出力する画像情報と第2撮像手段の出力す
る画像情報とが矛盾する値として孤立する画素で出現し
た場合にこの画素を欠陥画素と見なしてこの欠陥画素を
示す信号を出力し、かつ、合成手段の後段に欠陥画素に
ついて欠陥補正を行う欠陥補正処理手段をさらに備える
ことを特徴とする。これにより、合成を利用したより高
品質の画像を得ることができる。
1撮像手段の出力する画像情報と第2撮像手段の出力す
る画像情報とが矛盾する値として孤立する画素で出現し
た場合にこの画素を欠陥画素と見なしてこの欠陥画素を
示す信号を出力し、かつ、合成手段の後段に欠陥画素に
ついて欠陥補正を行う欠陥補正処理手段をさらに備える
ことを特徴とする。これにより、合成を利用したより高
品質の画像を得ることができる。
【0027】また、好ましい態様では、第1及び第2撮
像手段は、ともに単体でフルカラー画像を取り込むこと
が可能なカラー撮像手段であることを特徴とする。
像手段は、ともに単体でフルカラー画像を取り込むこと
が可能なカラー撮像手段であることを特徴とする。
【0028】また、好ましい態様では、第1及び第2撮
像手段は、オンチップカラーフィルタを用いたカラー撮
像素子であり、画素は相対的に同じ空間位置に配置され
るが、オンチップカラーフィルタの色は相対的にずれた
空間位置に配置されることを特徴とする。
像手段は、オンチップカラーフィルタを用いたカラー撮
像素子であり、画素は相対的に同じ空間位置に配置され
るが、オンチップカラーフィルタの色は相対的にずれた
空間位置に配置されることを特徴とする。
【0029】また、好ましい態様では、被写体輝度範囲
検出手段は、第1及び第2撮像手段とは別に設けた露光
量検出センサーであり、制御手段は、レリーズ時以外に
も第1及び第2撮像手段を駆動して画像を取り込む必要
がある場合に、第1及び第2撮像素子の内どちらか一方
を選択して画像情報の蓄積動作を行わせ、他方による画
像情報の蓄積動作を中止させ、かつ、合成手段の動作を
中止させて電力の供給量を減少させることを特徴とす
る。これにより、画像取り込み装置の消費電力を少なく
して効率的な動作を図ることができる。
検出手段は、第1及び第2撮像手段とは別に設けた露光
量検出センサーであり、制御手段は、レリーズ時以外に
も第1及び第2撮像手段を駆動して画像を取り込む必要
がある場合に、第1及び第2撮像素子の内どちらか一方
を選択して画像情報の蓄積動作を行わせ、他方による画
像情報の蓄積動作を中止させ、かつ、合成手段の動作を
中止させて電力の供給量を減少させることを特徴とす
る。これにより、画像取り込み装置の消費電力を少なく
して効率的な動作を図ることができる。
【0030】
【発明の内容の説明】以下、本発明の基本的な原理につ
いて簡単に説明する。
いて簡単に説明する。
【0031】本発明の画像取り込み装置では、2つの撮
像手段(撮像素子)を使用し、かつ、それらの蓄積時間
の比を可変にすることにより、被写体の輝度差に応じた
良好な画像を得ることができる。
像手段(撮像素子)を使用し、かつ、それらの蓄積時間
の比を可変にすることにより、被写体の輝度差に応じた
良好な画像を得ることができる。
【0032】また、2つの撮像素子に光を分割すること
による光量低下を防止し、かつ、第1及び第2撮像素子
の蓄積時間(露出時間)T1、T2の差が極端に大きく
ならないような範囲で、第2撮像素子への光量配分を小
さくし(1/3以下)、第1撮像素子への光量配分を大
きく(2/3以上)にすることが好ましい。この場合、
両者における光量分配の比は2倍以上になる。
による光量低下を防止し、かつ、第1及び第2撮像素子
の蓄積時間(露出時間)T1、T2の差が極端に大きく
ならないような範囲で、第2撮像素子への光量配分を小
さくし(1/3以下)、第1撮像素子への光量配分を大
きく(2/3以上)にすることが好ましい。この場合、
両者における光量分配の比は2倍以上になる。
【0033】被写体輝度範囲を、第1及び第2撮像素子
自身を使用して検出する場合は、最初に、蓄積時間(露
出時間)の比T1/T2を所定値以上(例えば10倍)
にしながら蓄積時間T1、T2の値を変化させて被写体
輝度範囲を検出し、これに基づいて最適な蓄積時間T
1、T2の比及び値を決定して撮像する。
自身を使用して検出する場合は、最初に、蓄積時間(露
出時間)の比T1/T2を所定値以上(例えば10倍)
にしながら蓄積時間T1、T2の値を変化させて被写体
輝度範囲を検出し、これに基づいて最適な蓄積時間T
1、T2の比及び値を決定して撮像する。
【0034】動きのある被写体でのブレを少なくするた
めに、第1及び第2撮像素子の蓄積時間T1、T2の中
央時刻は、所定量以下の違いになるように制御する。具
体的には、高輝度被写体では蓄積時間T1、T2自体が
共に十分短くなるので、蓄積同時開始または蓄積同時終
了でもよい。少なくとも片方の蓄積時間が所定時間より
長くなる場合は、蓄積時間T1、T2の中央時刻は、所
定量以下の違いになるように制御する。
めに、第1及び第2撮像素子の蓄積時間T1、T2の中
央時刻は、所定量以下の違いになるように制御する。具
体的には、高輝度被写体では蓄積時間T1、T2自体が
共に十分短くなるので、蓄積同時開始または蓄積同時終
了でもよい。少なくとも片方の蓄積時間が所定時間より
長くなる場合は、蓄積時間T1、T2の中央時刻は、所
定量以下の違いになるように制御する。
【0035】第1及び第2撮像素子から出力される画像
情報を合成する際のアルゴリズムは、例えば、電子情報
通信学会論文誌D−2,Vol.J78―D―2 N
o.10、車載用カメラのダイナミックレンジ拡大法記
載のアルゴリズムを用いることができる。以下に、本発
明に適用する場合の一例を説明する。
情報を合成する際のアルゴリズムは、例えば、電子情報
通信学会論文誌D−2,Vol.J78―D―2 N
o.10、車載用カメラのダイナミックレンジ拡大法記
載のアルゴリズムを用いることができる。以下に、本発
明に適用する場合の一例を説明する。
【0036】まず、同論文のアルゴリズム1を応用する
場合について説明する。露光条件Eiで撮像した画像の
画素(x,y)に対応する出力値をLi(x,y)(こ
こで、i=1,2)とすると、ダイナミックレンジが拡
大された画像Lwid(x,y)は、次の如く求める。 for i=1 to i=2 do for (x,y)=(0,0) to (X−1,Y−1) do if i=1 then Lwid(x,y)= L1(x,y)(E2/E1)γ else if L2(x,y)<Lsat then Lwid(x,y)= L2(x,y) ここで、E2/E1は、第1及び第2撮像素子の露光量
比であり、γはγ補正のパラメータであり、Lsat
は、第2撮像素子の出力の飽和値である。
場合について説明する。露光条件Eiで撮像した画像の
画素(x,y)に対応する出力値をLi(x,y)(こ
こで、i=1,2)とすると、ダイナミックレンジが拡
大された画像Lwid(x,y)は、次の如く求める。 for i=1 to i=2 do for (x,y)=(0,0) to (X−1,Y−1) do if i=1 then Lwid(x,y)= L1(x,y)(E2/E1)γ else if L2(x,y)<Lsat then Lwid(x,y)= L2(x,y) ここで、E2/E1は、第1及び第2撮像素子の露光量
比であり、γはγ補正のパラメータであり、Lsat
は、第2撮像素子の出力の飽和値である。
【0037】次に、同論文のアルゴリズム2を応用する
場合について説明する。上記の方法では、異なる露出条
件で撮像された領域の境界部では、不連続が生じる可能
性がある。そのため、輝度の重複領域では、輝度に対し
て連続的に変化する重み関数を用いて合成する方法が採
られる。この場合、画像Lwid(x,y)は、次の如
く求める。 for i=1 to i=2 do for (x,y)=(0,0) to (X−1,Y−1) do if i=1 then Lwid(x,y)= L1(x,y)(E2/E1)γ else Lwid(x,y)=f(L2(x,y))L2(x,y)(E2/E1 )γ+{1−f(L2(x,y))}Lwidγ ここで、fは画像を合成するときの重み関数である。
場合について説明する。上記の方法では、異なる露出条
件で撮像された領域の境界部では、不連続が生じる可能
性がある。そのため、輝度の重複領域では、輝度に対し
て連続的に変化する重み関数を用いて合成する方法が採
られる。この場合、画像Lwid(x,y)は、次の如
く求める。 for i=1 to i=2 do for (x,y)=(0,0) to (X−1,Y−1) do if i=1 then Lwid(x,y)= L1(x,y)(E2/E1)γ else Lwid(x,y)=f(L2(x,y))L2(x,y)(E2/E1 )γ+{1−f(L2(x,y))}Lwidγ ここで、fは画像を合成するときの重み関数である。
【0038】
【発明の実施の形態】〔第1実施形態〕図1は、第1実
施形態に係る画像取り込み装置を説明する図である。こ
の画像取り込み装置は、被写体Oの像を撮影するための
撮影レンズ3と、撮影レンズ3の直後に配置されて光量
を調節する絞り4と、被写体Oからの光束の光軸AX上
に配置されて光路を2方向に分割する分割光学系である
分光ミラー5と、分光ミラー5により分割された1方の
光束の光軸AX1上に配置された第1撮像素子1と、分
割された他方の光束の光軸AX2上に配置された第2撮
像素子2と、各撮像素子1、2の出力A1、A2をそれ
ぞれAD変換するADコンバータ21、22と、ADコ
ンバータ21、22からのAD変換後の出力を合成して
出力する合成器6と、各撮像素子1、2や合成器6の動
作を制御する制御装置7とを備えている。
施形態に係る画像取り込み装置を説明する図である。こ
の画像取り込み装置は、被写体Oの像を撮影するための
撮影レンズ3と、撮影レンズ3の直後に配置されて光量
を調節する絞り4と、被写体Oからの光束の光軸AX上
に配置されて光路を2方向に分割する分割光学系である
分光ミラー5と、分光ミラー5により分割された1方の
光束の光軸AX1上に配置された第1撮像素子1と、分
割された他方の光束の光軸AX2上に配置された第2撮
像素子2と、各撮像素子1、2の出力A1、A2をそれ
ぞれAD変換するADコンバータ21、22と、ADコ
ンバータ21、22からのAD変換後の出力を合成して
出力する合成器6と、各撮像素子1、2や合成器6の動
作を制御する制御装置7とを備えている。
【0039】この画像取り込み装置には、被写体Oの像
を撮影するための光学系とは別に、被写体Oの輝度範囲
である被写体輝度範囲を検出する輝度範囲検出部10を
備える。この輝度範囲検出部10は、被写体Oの像を撮
影レンズ3とは別に結像する第2レンズ10aと、光軸
AXにほぼ平行な第2レンズ10aの光軸AX’上に配
置されて被写体Oの像が投影される多分割SPD(シリ
コン・フォトダイオード)10bと、この多分割SPD
10bを構成する各素子に並列に接続されるlogアン
プ10cとを備える。これは、銀塩カメラの露光量検出
用のマルチ測光センサーと同様の構造であり、検出範囲
は広く、一度の測光で被写体の輝度範囲を計測できる。
この輝度範囲検出部10からの出力(すなわち被写体輝
度範囲)をもとに、各撮像素子1、2における蓄積時間
(露光時間)や絞り4の絞値を決定することができる。
を撮影するための光学系とは別に、被写体Oの輝度範囲
である被写体輝度範囲を検出する輝度範囲検出部10を
備える。この輝度範囲検出部10は、被写体Oの像を撮
影レンズ3とは別に結像する第2レンズ10aと、光軸
AXにほぼ平行な第2レンズ10aの光軸AX’上に配
置されて被写体Oの像が投影される多分割SPD(シリ
コン・フォトダイオード)10bと、この多分割SPD
10bを構成する各素子に並列に接続されるlogアン
プ10cとを備える。これは、銀塩カメラの露光量検出
用のマルチ測光センサーと同様の構造であり、検出範囲
は広く、一度の測光で被写体の輝度範囲を計測できる。
この輝度範囲検出部10からの出力(すなわち被写体輝
度範囲)をもとに、各撮像素子1、2における蓄積時間
(露光時間)や絞り4の絞値を決定することができる。
【0040】制御装置7は、合成器6の動作を制御する
CPU73(中央演算処理装置)と、このCPU73か
らの指示に応じて両撮像素子1、2による撮像に際して
の蓄積時間を制御するタイミング発生器74とを備え
る。
CPU73(中央演算処理装置)と、このCPU73か
らの指示に応じて両撮像素子1、2による撮像に際して
の蓄積時間を制御するタイミング発生器74とを備え
る。
【0041】制御装置7による制御下で合成器6から出
力された合成後の画像情報である出力Vは、画像処理装
置8に入力されて適当な画像処理が施される。画像処理
装置8からの画像処理後のデータは、記憶装置9に入力
されてここに保存される。なお、制御装置7は、合成器
6のみならず、画像処理装置8及び記憶装置9の動作も
制御しており、レリーズ動作の指示に基づいて各撮像素
子1、2に適当なタイミングで必要な画像を取り込ませ
るとともに、これに適当な合成等の処理を施し、得られ
た画像を適宜保存する。
力された合成後の画像情報である出力Vは、画像処理装
置8に入力されて適当な画像処理が施される。画像処理
装置8からの画像処理後のデータは、記憶装置9に入力
されてここに保存される。なお、制御装置7は、合成器
6のみならず、画像処理装置8及び記憶装置9の動作も
制御しており、レリーズ動作の指示に基づいて各撮像素
子1、2に適当なタイミングで必要な画像を取り込ませ
るとともに、これに適当な合成等の処理を施し、得られ
た画像を適宜保存する。
【0042】以下、図1の装置の動作について説明す
る。撮影レンズ3を通った光は、分光ミラー5によって
分割されて、第1撮像素子1と第2撮像素子2とにそれ
ぞれ投影される。この時、第1撮像素子1に供給される
光量の割合r1と第2撮像素子2に供給される光量の割
合r2とは、r1>r2なる関係を有し、分割比r1/
r2は、2から20の範囲内のある固定した値とする。
さらに、分割比r1/r2は、4から10の範囲内のあ
る固定した値とすることが好ましい。なお、分光ミラー
5は、例えば透過率と反射率の割合が元から異なる光学
素子としても良いし、あるいは透過率と反射率が同じハ
ーフミラーを用いて50%と50%で2分割し、一方に
関しNDフィフィルターで光量を必要量だけ減衰させて
もよい。ただし、好ましくは、NDフィルタを使用せ
ず、単一の分光ミラー5とした方が、光量損失が無く効
率が良い。
る。撮影レンズ3を通った光は、分光ミラー5によって
分割されて、第1撮像素子1と第2撮像素子2とにそれ
ぞれ投影される。この時、第1撮像素子1に供給される
光量の割合r1と第2撮像素子2に供給される光量の割
合r2とは、r1>r2なる関係を有し、分割比r1/
r2は、2から20の範囲内のある固定した値とする。
さらに、分割比r1/r2は、4から10の範囲内のあ
る固定した値とすることが好ましい。なお、分光ミラー
5は、例えば透過率と反射率の割合が元から異なる光学
素子としても良いし、あるいは透過率と反射率が同じハ
ーフミラーを用いて50%と50%で2分割し、一方に
関しNDフィフィルターで光量を必要量だけ減衰させて
もよい。ただし、好ましくは、NDフィルタを使用せ
ず、単一の分光ミラー5とした方が、光量損失が無く効
率が良い。
【0043】画像取り込みの指示があった場合、図示の
画像取り込み装置はレリーズ動作を行う。具体的には、
制御装置7が、絞り駆動装置(図示を省略)により絞り
4を駆動して最適な照明光量に設定する。次に、制御装
置7は、第1及び第2撮像素子1、2を動作させて投影
された画像を光電変換した画像信号を出力する露出を行
う。この際、制御装置7は、タイミング発生器74を介
して第1及び第2撮像素子1、2の蓄積時間T1、T2
をそれぞれ独立に制御してこれらを最適な値に制御する
ことができる。第1及び第2撮像素子1、2の出力は、
デジタルデータ処理のためAD変換された後、合成器6
によって輝度の合成が行われる。この後、画像処理装置
8によって各種信号処理や圧縮が行われ、記憶装置9に
よって画像処理後の画像データの保存が行われる。な
お、通常は撮影に先立ち合焦装置(図示を省略)または
手動により、撮影レンズ3の位置を調整して被写体Oの
像を第1及び第2撮像素子上に合焦させる動作が行われ
るが、説明は省略している。
画像取り込み装置はレリーズ動作を行う。具体的には、
制御装置7が、絞り駆動装置(図示を省略)により絞り
4を駆動して最適な照明光量に設定する。次に、制御装
置7は、第1及び第2撮像素子1、2を動作させて投影
された画像を光電変換した画像信号を出力する露出を行
う。この際、制御装置7は、タイミング発生器74を介
して第1及び第2撮像素子1、2の蓄積時間T1、T2
をそれぞれ独立に制御してこれらを最適な値に制御する
ことができる。第1及び第2撮像素子1、2の出力は、
デジタルデータ処理のためAD変換された後、合成器6
によって輝度の合成が行われる。この後、画像処理装置
8によって各種信号処理や圧縮が行われ、記憶装置9に
よって画像処理後の画像データの保存が行われる。な
お、通常は撮影に先立ち合焦装置(図示を省略)または
手動により、撮影レンズ3の位置を調整して被写体Oの
像を第1及び第2撮像素子上に合焦させる動作が行われ
るが、説明は省略している。
【0044】以下、輝度範囲検出部10で検出した被写
体輝度範囲(この場合、被写体Oの輝度差)に応じて、
第1及び第2撮像素子1、2について行う蓄積時間の比
の変更について説明する。
体輝度範囲(この場合、被写体Oの輝度差)に応じて、
第1及び第2撮像素子1、2について行う蓄積時間の比
の変更について説明する。
【0045】第1及び第2撮像素子1、2における蓄積
時間T1、T2の比(T1/T2)を変更すると、露光
量の比Rは、(r1×T1)/(r2×T2)で与えら
れる。
時間T1、T2の比(T1/T2)を変更すると、露光
量の比Rは、(r1×T1)/(r2×T2)で与えら
れる。
【0046】図2から図4は、露光量の比Rを考慮した
上で、合成器6で輝度合成を行う場合の具体的手法を説
明する図である。
上で、合成器6で輝度合成を行う場合の具体的手法を説
明する図である。
【0047】図2は、輝度差が大きい場合の合成を説明
するグラフである。図2(a)は合成前の輝度出力を示
し、図2(b)は合成の際に用いる重み関数を示し、図
2(c)は合成後の輝度出力を示す。なお、図2(a)
において、横軸は被写体Oの輝度を示し縦軸は両撮像素
子1、2の出力A1、A2を示す。図2(b)におい
て、縦軸は両撮像素子1、2の出力値A1、A2を合成
するための重み関数の値を示し、図2(c)において、
縦軸は合成器6の出力Vを示す。この場合は、蓄積時間
T1、T2の比を大きくし、2つの撮像素子1、2の光
電変換特性の直線部分のオーバーラップ領域を小さく
し、広い輝度範囲の情報を取り込めるようにしている。
被写体Oの輝度範囲が広い場合、上記のような合成によ
って広いダイナミックレンジを確保することを優先す
る。
するグラフである。図2(a)は合成前の輝度出力を示
し、図2(b)は合成の際に用いる重み関数を示し、図
2(c)は合成後の輝度出力を示す。なお、図2(a)
において、横軸は被写体Oの輝度を示し縦軸は両撮像素
子1、2の出力A1、A2を示す。図2(b)におい
て、縦軸は両撮像素子1、2の出力値A1、A2を合成
するための重み関数の値を示し、図2(c)において、
縦軸は合成器6の出力Vを示す。この場合は、蓄積時間
T1、T2の比を大きくし、2つの撮像素子1、2の光
電変換特性の直線部分のオーバーラップ領域を小さく
し、広い輝度範囲の情報を取り込めるようにしている。
被写体Oの輝度範囲が広い場合、上記のような合成によ
って広いダイナミックレンジを確保することを優先す
る。
【0048】図3は、輝度差が中程度の場合の合成を説
明するグラフである。図3(a)は合成前の輝度出力を
示し、図3(b)は合成の際に用いる重み関数を示し、
図3(c)は合成後の輝度出力を示す。この場合は、蓄
積時間T1、T2の比を小さくし、2つの撮像素子1、
2の光電変換特性の直線部分の重なりが大きくなるよう
にする。直線部分の重なる領域が大きければ、合成時に
不連続が生じる現象を効果的に防ぐことができる。被写
体Oの輝度範囲が中程度に広い場合、図示のような合成
によって、広いダイナミックレンジを確保するとともに
合成のつなぎ目で不連続が生じにくいものとすることが
できる(画質とDR優先)。
明するグラフである。図3(a)は合成前の輝度出力を
示し、図3(b)は合成の際に用いる重み関数を示し、
図3(c)は合成後の輝度出力を示す。この場合は、蓄
積時間T1、T2の比を小さくし、2つの撮像素子1、
2の光電変換特性の直線部分の重なりが大きくなるよう
にする。直線部分の重なる領域が大きければ、合成時に
不連続が生じる現象を効果的に防ぐことができる。被写
体Oの輝度範囲が中程度に広い場合、図示のような合成
によって、広いダイナミックレンジを確保するとともに
合成のつなぎ目で不連続が生じにくいものとすることが
できる(画質とDR優先)。
【0049】図4は、輝度差が小さい場合の合成を説明
するグラフである。図4(a)は合成前の輝度を示し、
図4(b)は合成の際の重み関数を示し、図4(c)は
合成後の輝度を示す。この場合は、蓄積時間T1、T2
を等しくし、あるいはT1よりもT2の方をかえって長
くする(T1<T2)ことにより、露光量比R、すなわ
ち(r1×T1)対(r2×T2)の比をほぼ1に近く
する、あるいは1に等しくする。また重み関数も単純に
1とし、2つの撮像素子の出力を単純に加算する。結
果、合成による不連続は生じないし、ランダムノイズは
打ち消し合う方向に働くので、画質は良くなる(画質優
先)。
するグラフである。図4(a)は合成前の輝度を示し、
図4(b)は合成の際の重み関数を示し、図4(c)は
合成後の輝度を示す。この場合は、蓄積時間T1、T2
を等しくし、あるいはT1よりもT2の方をかえって長
くする(T1<T2)ことにより、露光量比R、すなわ
ち(r1×T1)対(r2×T2)の比をほぼ1に近く
する、あるいは1に等しくする。また重み関数も単純に
1とし、2つの撮像素子の出力を単純に加算する。結
果、合成による不連続は生じないし、ランダムノイズは
打ち消し合う方向に働くので、画質は良くなる(画質優
先)。
【0050】なお、合成器6に重み関数をLUTとして
持たせることにより、高速の合成処理が可能になる。こ
の場合、合成器6に輝度差に応じた複数のLUTを用意
しておき、それらを必要に応じて切り替えて合成を行
う。
持たせることにより、高速の合成処理が可能になる。こ
の場合、合成器6に輝度差に応じた複数のLUTを用意
しておき、それらを必要に応じて切り替えて合成を行
う。
【0051】また、LUTを使わず、合成器6を構成す
る回路中に乗算回路と加算回路からなる演算回路を組み
込むこともできる。この場合、蓄積時間T1、T2の比
に応じて重み関数のパラメーターを変えることによっ
て、合成処理を行うことも可能である。
る回路中に乗算回路と加算回路からなる演算回路を組み
込むこともできる。この場合、蓄積時間T1、T2の比
に応じて重み関数のパラメーターを変えることによっ
て、合成処理を行うことも可能である。
【0052】また、特別に合成処理を行う合成回路を持
たず、代わりにCPU73の演算機能を用いてソフトウ
エアによる処理で合成を行うことも可能である。
たず、代わりにCPU73の演算機能を用いてソフトウ
エアによる処理で合成を行うことも可能である。
【0053】また、第2撮像素子2(分割光学系で反射
された鏡像を撮像する撮像素子)としては、例えば鏡像
モード付き、または鏡像専用のCCDを用いることがで
きる。このようなCCDを用いれば、図1に示すような
分割ミラーを用いて片方だけが鏡像になる場合であって
も、同じ空間位置の画素出力を同じタイミングで読み出
すことが可能である。
された鏡像を撮像する撮像素子)としては、例えば鏡像
モード付き、または鏡像専用のCCDを用いることがで
きる。このようなCCDを用いれば、図1に示すような
分割ミラーを用いて片方だけが鏡像になる場合であって
も、同じ空間位置の画素出力を同じタイミングで読み出
すことが可能である。
【0054】〔第2実施形態〕図5は、第2実施形態に
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第1実施形態の装置の変形例であり、同
一部分には同一の符号を付して重複説明を省略する。本
実施形態の装置は、記憶手段として1枚のフレームメモ
リー62を備えており、第1及び第2撮像素子1、2と
してCCDを用いている。さらに、合成器6やフレーム
メモリー62への画像信号の転送を制御するため、CP
U73に制御されて動作するスイッチ素子64、65が
設けられている。
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第1実施形態の装置の変形例であり、同
一部分には同一の符号を付して重複説明を省略する。本
実施形態の装置は、記憶手段として1枚のフレームメモ
リー62を備えており、第1及び第2撮像素子1、2と
してCCDを用いている。さらに、合成器6やフレーム
メモリー62への画像信号の転送を制御するため、CP
U73に制御されて動作するスイッチ素子64、65が
設けられている。
【0055】以下、露光のタイミングについて説明す
る。この実施形態では、タイミング発生器74で、第1
及び第2撮像素子1、2の蓄積時間T1、T2の中央時
刻の差が所定時間以内になるように制御する。この所定
時間をいくつに設定するかは任意であるが、およそ1/
10秒から1/100秒程度の範囲に設定するのが好ま
しい。通常、撮影レンズ3の焦点距離が短い場合は、ブ
レが目立ちにくいので、上記所定時間(中央時刻の差)
は多少長くてもよいが、撮影レンズ3の焦点距離が長い
場合は、ブレが目立ちやすいので、上記所定時間は短く
設定することが好ましい。
る。この実施形態では、タイミング発生器74で、第1
及び第2撮像素子1、2の蓄積時間T1、T2の中央時
刻の差が所定時間以内になるように制御する。この所定
時間をいくつに設定するかは任意であるが、およそ1/
10秒から1/100秒程度の範囲に設定するのが好ま
しい。通常、撮影レンズ3の焦点距離が短い場合は、ブ
レが目立ちにくいので、上記所定時間(中央時刻の差)
は多少長くてもよいが、撮影レンズ3の焦点距離が長い
場合は、ブレが目立ちやすいので、上記所定時間は短く
設定することが好ましい。
【0056】図6から図8は、第1及び第2撮像素子
1、2の露光タイミングを説明する図である。ここでは
説明のため便宜的に、上記所定時間の2倍よりも短い蓄
積時間(露光時間)を高シャッター速度、上記所定時間
の2倍よりも長い蓄積時間(露光時間)を低シャッター
速度と呼ぶこととする。
1、2の露光タイミングを説明する図である。ここでは
説明のため便宜的に、上記所定時間の2倍よりも短い蓄
積時間(露光時間)を高シャッター速度、上記所定時間
の2倍よりも長い蓄積時間(露光時間)を低シャッター
速度と呼ぶこととする。
【0057】図6は、高輝度被写体の露光を説明する図
である。図6(a)は第1撮像素子1の露光タイミング
(蓄積タイミング)と信号読出タイミングとを示し、図
6(b)は第2撮像素子2の露光タイミング(蓄積タイ
ミング)と信号読出タイミングとを示す。高輝度被写体
の撮影の場合は、両撮像素子1、2とも高シャッター速
度になるので、両撮像素子1、2による両露光時間の中
央時刻(センター)を一致させなくても、例えば露光の
開始または終了時刻を合わせればセンターは所定時間以
内に収まる。
である。図6(a)は第1撮像素子1の露光タイミング
(蓄積タイミング)と信号読出タイミングとを示し、図
6(b)は第2撮像素子2の露光タイミング(蓄積タイ
ミング)と信号読出タイミングとを示す。高輝度被写体
の撮影の場合は、両撮像素子1、2とも高シャッター速
度になるので、両撮像素子1、2による両露光時間の中
央時刻(センター)を一致させなくても、例えば露光の
開始または終了時刻を合わせればセンターは所定時間以
内に収まる。
【0058】図7は、被写体Oの輝度が中程度の場合の
露光を説明する図である。図7(a)は第1撮像素子1
の露光タイミングと信号読出タイミングとを示し、図7
(b)は第2撮像素子2の露光タイミングと信号読出タ
イミングとを示す。被写体の輝度が中程度の場合は、図
からも明らかなように、片方の第2撮像素子2が高シャ
ッター速度で、他方の第1撮像素子1が低シャッター速
度になる。この場合は、蓄積時間T1、T2のセンター
を合わせるように蓄積タイミングを制御する。このこと
により、合成画像のブレが小さくなる。
露光を説明する図である。図7(a)は第1撮像素子1
の露光タイミングと信号読出タイミングとを示し、図7
(b)は第2撮像素子2の露光タイミングと信号読出タ
イミングとを示す。被写体の輝度が中程度の場合は、図
からも明らかなように、片方の第2撮像素子2が高シャ
ッター速度で、他方の第1撮像素子1が低シャッター速
度になる。この場合は、蓄積時間T1、T2のセンター
を合わせるように蓄積タイミングを制御する。このこと
により、合成画像のブレが小さくなる。
【0059】図8は、被写体Oが低輝度の場合の露光を
説明する図である。図8(a)は第1撮像素子1の露光
タイミングと信号読出タイミングとを示し、図8(b)
は第2撮像素子2の露光タイミングと信号読出タイミン
グとを示す。この場合も、蓄積時間T1、T2のセンタ
ーを合わせるように蓄積タイミングを制御する。このこ
とにより、合成画像のブレが小さくなる。
説明する図である。図8(a)は第1撮像素子1の露光
タイミングと信号読出タイミングとを示し、図8(b)
は第2撮像素子2の露光タイミングと信号読出タイミン
グとを示す。この場合も、蓄積時間T1、T2のセンタ
ーを合わせるように蓄積タイミングを制御する。このこ
とにより、合成画像のブレが小さくなる。
【0060】蓄積時間T1、T2のセンターを合わせる
際には、以下のような問題を解決する必要がある。
際には、以下のような問題を解決する必要がある。
【0061】図7及び図8に示すように、蓄積時間T
1、T2の露光時間差が大きい場合(T1>T2とす
る)、仮に両撮像素子1、2から同時に画像信号を出力
しようとすると、第2撮像素子2の蓄積(露光)が終わ
ってから第1撮像素子1の蓄積(露光)が終わるまでに
時間間隔が空くことになる。この間、第2撮像素子2の
信号電荷は、第2撮像素子2中(例えば垂直転送CCD
中)で保持されることになる。垂直転送CCD等は、一
般にフォトダイオードに比べて暗電流の影響が大きい。
この結果、暗電流成分によるノイズの影響が大きくなる
という問題がある。
1、T2の露光時間差が大きい場合(T1>T2とす
る)、仮に両撮像素子1、2から同時に画像信号を出力
しようとすると、第2撮像素子2の蓄積(露光)が終わ
ってから第1撮像素子1の蓄積(露光)が終わるまでに
時間間隔が空くことになる。この間、第2撮像素子2の
信号電荷は、第2撮像素子2中(例えば垂直転送CCD
中)で保持されることになる。垂直転送CCD等は、一
般にフォトダイオードに比べて暗電流の影響が大きい。
この結果、暗電流成分によるノイズの影響が大きくなる
という問題がある。
【0062】このような問題を解決するため、蓄積時間
T1、T2の差が大きい場合(T1>T2とする)は、
図5に示すフレームメモリー62とスイッチ素子64、
65とを利用した遅延を行う。図7及び図8に示すよう
に、第2撮像素子2の蓄積(露光)が終わった時点で先
に画像信号を読み出し(出力A1)、スイッチ素子64
の制御によって合成器6を素通りさせて、フレームメモ
リー62に一時的に記憶する。その後、第1撮像素子1
の蓄積(露光)が終わった時点で画像信号を読み出す
(出力A2)。これと同時に、先にフレームメモリー6
2に記憶した第2撮像素子2の出力をスイッチ素子6
4、65の制御によって合成器6に戻す。この結果、合
成器6には、第1撮像素子1による蓄積直後の画像信号
と第2撮像素子2による蓄積直後の画像信号とが同時に
入力されてここで合成処理される。合成器6の出力は、
スイッチ素子65の制御によって再びフレームメモリー
62に書き込まれる。この結果、暗電流の影響を受けに
くくなる。また、このような手法を用いれば、フレーム
メモリーが最低1枚(1画面分)あれば済むことにな
る。
T1、T2の差が大きい場合(T1>T2とする)は、
図5に示すフレームメモリー62とスイッチ素子64、
65とを利用した遅延を行う。図7及び図8に示すよう
に、第2撮像素子2の蓄積(露光)が終わった時点で先
に画像信号を読み出し(出力A1)、スイッチ素子64
の制御によって合成器6を素通りさせて、フレームメモ
リー62に一時的に記憶する。その後、第1撮像素子1
の蓄積(露光)が終わった時点で画像信号を読み出す
(出力A2)。これと同時に、先にフレームメモリー6
2に記憶した第2撮像素子2の出力をスイッチ素子6
4、65の制御によって合成器6に戻す。この結果、合
成器6には、第1撮像素子1による蓄積直後の画像信号
と第2撮像素子2による蓄積直後の画像信号とが同時に
入力されてここで合成処理される。合成器6の出力は、
スイッチ素子65の制御によって再びフレームメモリー
62に書き込まれる。この結果、暗電流の影響を受けに
くくなる。また、このような手法を用いれば、フレーム
メモリーが最低1枚(1画面分)あれば済むことにな
る。
【0063】なお、両撮像素子1、2とも高シャッター
速度の場合は、第1及び第2撮像素子1、2から同時に
信号を読み出すことができるので、合成器6で合成を行
い、結果をフレームメモリー62に書き込めばよい。
速度の場合は、第1及び第2撮像素子1、2から同時に
信号を読み出すことができるので、合成器6で合成を行
い、結果をフレームメモリー62に書き込めばよい。
【0064】また、上記の説明では、露光の中央時刻を
合わせる(ブレを最小にする)制御方法を示したが、実
施形態の画像取り込み装置を例えばカメラに組み込む場
合、カメラの撮影モードとしては別に、両撮像素子1、
2の露出開始を合わせるモードや、露出終了を合わせる
モードを備える構成とすることもできる。これらの撮影
モードを使用したときは、ちょうど通常の一眼レフカメ
ラでストロボを使用して後幕シンクロ撮影(シャッター
が閉じる直前にストロボを発光するモード)や先幕シン
クロ撮影(シャッターが開いた直後にストロボを発光す
るモード)をした時と似た効果を生むことができる。
合わせる(ブレを最小にする)制御方法を示したが、実
施形態の画像取り込み装置を例えばカメラに組み込む場
合、カメラの撮影モードとしては別に、両撮像素子1、
2の露出開始を合わせるモードや、露出終了を合わせる
モードを備える構成とすることもできる。これらの撮影
モードを使用したときは、ちょうど通常の一眼レフカメ
ラでストロボを使用して後幕シンクロ撮影(シャッター
が閉じる直前にストロボを発光するモード)や先幕シン
クロ撮影(シャッターが開いた直後にストロボを発光す
るモード)をした時と似た効果を生むことができる。
【0065】〔第3実施形態〕図9は、第3実施形態に
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第2実施形態の装置の変形例である。
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第2実施形態の装置の変形例である。
【0066】この画像読み取り装置は、第1及び第2撮
像素子1、2ごとにそれぞれ第1及び第2フレームメモ
リー121、122を備えており、両撮像素子1、2の
出力をそれぞれフレームメモリー121、122に一時
的に記憶することができる。
像素子1、2ごとにそれぞれ第1及び第2フレームメモ
リー121、122を備えており、両撮像素子1、2の
出力をそれぞれフレームメモリー121、122に一時
的に記憶することができる。
【0067】動作について説明する。第2撮像素子2の
蓄積(露光)が終わった時点で先に画像信号を読み出
し、その画像信号をスイッチ素子164の制御によって
第2フレームメモリー122に一時的に記憶する。その
後、第1撮像素子1の蓄積(露光)が終わった時点で画
像信号を読み出し、その画像信号を第1フレームメモリ
ー121に一時的に記憶する。次に、両フレームメモリ
ー121、122を同時に読み出し、両撮像素子1、2
からの画像信号を合成器6に入力しここで合成処理を行
う。合成器6の出力は、スイッチ素子164の制御によ
って再び第2フレームメモリー122に書き込まれて保
存され、スイッチ素子165の制御によって適当なタイ
ミングで出力される。
蓄積(露光)が終わった時点で先に画像信号を読み出
し、その画像信号をスイッチ素子164の制御によって
第2フレームメモリー122に一時的に記憶する。その
後、第1撮像素子1の蓄積(露光)が終わった時点で画
像信号を読み出し、その画像信号を第1フレームメモリ
ー121に一時的に記憶する。次に、両フレームメモリ
ー121、122を同時に読み出し、両撮像素子1、2
からの画像信号を合成器6に入力しここで合成処理を行
う。合成器6の出力は、スイッチ素子164の制御によ
って再び第2フレームメモリー122に書き込まれて保
存され、スイッチ素子165の制御によって適当なタイ
ミングで出力される。
【0068】本実施例では、両撮像素子1、2からの出
力データが両フレームメモリー121、122に一時的
に保持される。よって、合成処理を両撮像素子1、2か
らの読み出し速度に同期させる必要はなく、比較的遅い
速度で合成を行うことができる。
力データが両フレームメモリー121、122に一時的
に保持される。よって、合成処理を両撮像素子1、2か
らの読み出し速度に同期させる必要はなく、比較的遅い
速度で合成を行うことができる。
【0069】なお、スイッチ素子164、165は不可
欠のものではない。スイッチ素子164、165をなく
した場合、両フレームメモリー121、122の読み出
しタイミングに同期して合成器6から合成された信号が
出力される。
欠のものではない。スイッチ素子164、165をなく
した場合、両フレームメモリー121、122の読み出
しタイミングに同期して合成器6から合成された信号が
出力される。
【0070】〔第4実施形態〕図10は、第4実施形態
に係る画像取り込み装置を説明する図である。この画像
取り込み装置は、第1実施形態の装置の変形例である。
に係る画像取り込み装置を説明する図である。この画像
取り込み装置は、第1実施形態の装置の変形例である。
【0071】この画像読み取り装置は、第1及び第2撮
像素子1、2ごとに、処理手段として、ガンマ補正型の
AD変換器であるガンマ処理回路221、222を備え
ており、このガンマ処理回路221、222により、両
撮像素子1、2の出力に階調圧縮を行うガンマ処理を実
行し、その後、合成器6で輝度の合成処理を行う構成と
なっている。
像素子1、2ごとに、処理手段として、ガンマ補正型の
AD変換器であるガンマ処理回路221、222を備え
ており、このガンマ処理回路221、222により、両
撮像素子1、2の出力に階調圧縮を行うガンマ処理を実
行し、その後、合成器6で輝度の合成処理を行う構成と
なっている。
【0072】両ガンマ処理回路221、222で行うガ
ンマ処理としては、両撮像素子1、2の出力信号をアナ
ログ・ガンマ回路でガンマ補正し、それから例えば8b
itAD変換器でデジタル信号に変換してもよいし、或
いは両撮像素子1、2の出力を例えば12bitAD変
換器でデジタル信号に変換し、それからデジタル・ガン
マ回路で8bitに変換してもよい。
ンマ処理としては、両撮像素子1、2の出力信号をアナ
ログ・ガンマ回路でガンマ補正し、それから例えば8b
itAD変換器でデジタル信号に変換してもよいし、或
いは両撮像素子1、2の出力を例えば12bitAD変
換器でデジタル信号に変換し、それからデジタル・ガン
マ回路で8bitに変換してもよい。
【0073】図11に、ガンマ補正後の光電変換特性の
一例を示す。グラフの傾きがガンマの値を示している。
ガンマ補正により、両撮像素子1、2から得られるデー
タの直線部分がより広い輝度範囲に亘ることになるの
で、白潰れを防ぎ、より広いダイナミックレンジを得る
ことができる。また、第1及び第2撮像素子1、2の輝
度重複領域が広くなるので、境界の目立たない合成処理
を行うことができる。
一例を示す。グラフの傾きがガンマの値を示している。
ガンマ補正により、両撮像素子1、2から得られるデー
タの直線部分がより広い輝度範囲に亘ることになるの
で、白潰れを防ぎ、より広いダイナミックレンジを得る
ことができる。また、第1及び第2撮像素子1、2の輝
度重複領域が広くなるので、境界の目立たない合成処理
を行うことができる。
【0074】なお、第1から第4の実施形態において、
画像取り込み装置は、AD変換器21、22、121、
122やガンマ処理回路221、222を2系統備え、
2つの撮像素子1、2の出力を別々の回路で処理する構
成となっている。しかし、これでは回路が複雑になる
し、また2つの処理回路に特性のバラツキが生じた場
合、合成時に階調の不連続等の不都合が生じる原因とも
なる。これを防ぐために、図12に示すように第1及び
第2撮像素子1、2からの出力を選択するスイッチ26
4を取り付け、両撮像素子1、2の出力を直列に接続さ
れたガンマ処理回路321とフレームメモリー421と
からなる1組の処理回路で処理する構成とすることもで
きる。切換用のスイッチ264は、いずれか一方の撮像
素子からの出力をすべて読み出してから他方の撮像素子
に切り替える動作とすることができる。また、1画素毎
に両撮像素子1、2を交互に切り替えて次段に画像信号
を転送する動作とすることもできる。このような構成と
することにより、回路を省略することができ、2系統の
回路を使用することによる特性バラツキの影響も無くな
る。
画像取り込み装置は、AD変換器21、22、121、
122やガンマ処理回路221、222を2系統備え、
2つの撮像素子1、2の出力を別々の回路で処理する構
成となっている。しかし、これでは回路が複雑になる
し、また2つの処理回路に特性のバラツキが生じた場
合、合成時に階調の不連続等の不都合が生じる原因とも
なる。これを防ぐために、図12に示すように第1及び
第2撮像素子1、2からの出力を選択するスイッチ26
4を取り付け、両撮像素子1、2の出力を直列に接続さ
れたガンマ処理回路321とフレームメモリー421と
からなる1組の処理回路で処理する構成とすることもで
きる。切換用のスイッチ264は、いずれか一方の撮像
素子からの出力をすべて読み出してから他方の撮像素子
に切り替える動作とすることができる。また、1画素毎
に両撮像素子1、2を交互に切り替えて次段に画像信号
を転送する動作とすることもできる。このような構成と
することにより、回路を省略することができ、2系統の
回路を使用することによる特性バラツキの影響も無くな
る。
【0075】〔第5実施形態〕図13は、第5実施形態
に係る画像取り込み装置を説明する図である。
に係る画像取り込み装置を説明する図である。
【0076】この画像読み取り装置は、第1実施形態の
装置の変形例であり、被写体輝度範囲を撮影レンズ3を
利用して検出する多分割SPD10bを備えている。こ
の輝度範囲検出用素部110は、光軸AX上に配置され
て像光の一部を反射するミラー110aと、第2レンズ
10aと、多分割SPD10bと、1ogアンプ10c
とを備えている。
装置の変形例であり、被写体輝度範囲を撮影レンズ3を
利用して検出する多分割SPD10bを備えている。こ
の輝度範囲検出用素部110は、光軸AX上に配置され
て像光の一部を反射するミラー110aと、第2レンズ
10aと、多分割SPD10bと、1ogアンプ10c
とを備えている。
【0077】さらに、撮像素子1、2は、撮像(画像取
り込み)専用として用いる必要はなく、焦点検出(A
F)手段等として活用することもできる。例えばCCD
AF(山登りAF等)を行う場合や、液晶ファインダー
を表示させる場合は、両撮像素子(CCD)1、2のう
ちの片方のみを動作させて必要な制御装置7に処理を行
わせることができる。どちらの撮像素子(CCD)1、
2を用いるかは、その時の被写体の輝度に応じて切り替
えることもできる。この場合は、合成器6も機能させ
ず、単に撮像素子(CCD)1、2の内、動作している
どちらか一方の出力をそのまま素通りさせる。この結
果、消費電力を減らすことが可能である。
り込み)専用として用いる必要はなく、焦点検出(A
F)手段等として活用することもできる。例えばCCD
AF(山登りAF等)を行う場合や、液晶ファインダー
を表示させる場合は、両撮像素子(CCD)1、2のう
ちの片方のみを動作させて必要な制御装置7に処理を行
わせることができる。どちらの撮像素子(CCD)1、
2を用いるかは、その時の被写体の輝度に応じて切り替
えることもできる。この場合は、合成器6も機能させ
ず、単に撮像素子(CCD)1、2の内、動作している
どちらか一方の出力をそのまま素通りさせる。この結
果、消費電力を減らすことが可能である。
【0078】〔第6実施形態〕図14は、第6実施形態
に係る画像取り込み装置を説明する図である。
に係る画像取り込み装置を説明する図である。
【0079】この画像読み取り装置は、画像取り込み用
の撮像素子1、2自体で輝度範囲検出を行う。
の撮像素子1、2自体で輝度範囲検出を行う。
【0080】以下、本実施形態の装置の動作を説明す
る。まず、第1及び第2撮像素子1、2により十分異な
る蓄積時間で被写体輝度検出用の撮像動作を行う(例え
ばT1/T2が10倍以上)。次に、それぞれの撮像素
子1、2の出力のヒストグラムを調べ、検出された輝度
範囲の上限値及び下限値を求める。以上の動作を繰返し
て蓄積時間の最適化を行う。
る。まず、第1及び第2撮像素子1、2により十分異な
る蓄積時間で被写体輝度検出用の撮像動作を行う(例え
ばT1/T2が10倍以上)。次に、それぞれの撮像素
子1、2の出力のヒストグラムを調べ、検出された輝度
範囲の上限値及び下限値を求める。以上の動作を繰返し
て蓄積時間の最適化を行う。
【0081】図15(a)は、被写体の現実の輝度範囲
の分布を示し、図15(b)は、両撮像素子1、2で検
出可能な被写体輝度範囲の変更例を示す。図15(b)
に示す第1段階の時刻(A)の状態では、現在検出され
ている輝度範囲よりも更に高輝度の領域が被写体中に存
在している。両撮像素子1、2による検出結果をフィー
ドバックするべく比T1/T2を保ったまま両蓄積時間
T1、T2の値を所定量だけ増加し、再びヒストグラム
を調べて輝度範囲の上限値及び下限値を求める(第2段
階の時刻(B)の状態)。このような動作を繰り返し、
被写体の輝度範囲(MAX,MIN)を検出する(第3
段階の時刻(C)の状態参照)。検出した被写体輝度範
囲(MAX,MIN)及び、被写体輝度のヒストグラム
や、輝度の分布に応じて両撮像素子1、2の蓄積時間T
1、T2及びその比T1/T2の最適値を求め、レリー
ズ動作時には、得られた最適な蓄積時間T1、T2で静
止画の撮影を行う。
の分布を示し、図15(b)は、両撮像素子1、2で検
出可能な被写体輝度範囲の変更例を示す。図15(b)
に示す第1段階の時刻(A)の状態では、現在検出され
ている輝度範囲よりも更に高輝度の領域が被写体中に存
在している。両撮像素子1、2による検出結果をフィー
ドバックするべく比T1/T2を保ったまま両蓄積時間
T1、T2の値を所定量だけ増加し、再びヒストグラム
を調べて輝度範囲の上限値及び下限値を求める(第2段
階の時刻(B)の状態)。このような動作を繰り返し、
被写体の輝度範囲(MAX,MIN)を検出する(第3
段階の時刻(C)の状態参照)。検出した被写体輝度範
囲(MAX,MIN)及び、被写体輝度のヒストグラム
や、輝度の分布に応じて両撮像素子1、2の蓄積時間T
1、T2及びその比T1/T2の最適値を求め、レリー
ズ動作時には、得られた最適な蓄積時間T1、T2で静
止画の撮影を行う。
【0082】なお、これらの動作中は、両撮像素子1、
2を構成するCCDから全画素を読み出すのでなく、C
CDの画素を間引きして読出す動作としてもよい。
2を構成するCCDから全画素を読み出すのでなく、C
CDの画素を間引きして読出す動作としてもよい。
【0083】〔第7実施形態〕図16は、第7実施形態
に係る画像取り込み装置を説明する図である。
に係る画像取り込み装置を説明する図である。
【0084】この画像読み取り装置は、合成器6と並列
に接続された欠陥画素検出器83と、欠陥画素検出器8
3の出力に基づいて欠陥補正を行う欠陥画素補正回路8
4とを備えている。第1及び第2撮像素子1、2には、
一部欠陥画素が含まれている可能性がある。例えば、暗
電流が非常に大きく白点傷になる画素や、フォトダイオ
ードの電荷が垂直CCDに転送されず、黒点傷になる画
素等である。またこれらの欠陥画素は、宇宙線等の影響
により数が増加する場合もある。この様な欠陥画素が含
まれる場合、2つの撮像素子1、2からの画素出力が矛
盾した値になる。例えば、空間位置が同じである特定の
画素同士に注目したとき、露光量の小さい撮像素子出力
の方が露光量の大きい撮像素子出力よりも値が大きくな
ったり、または、露光量の比が10倍なのに、出力の値
の比が100倍になったりする可能性がある。このよう
な状況が孤立して現れた場合、欠陥画素検出器83はこ
の画素が欠陥画素であるという信号を出力する。この
時、後段の欠陥画素補正回路84が動作し、欠陥補正が
行われる。
に接続された欠陥画素検出器83と、欠陥画素検出器8
3の出力に基づいて欠陥補正を行う欠陥画素補正回路8
4とを備えている。第1及び第2撮像素子1、2には、
一部欠陥画素が含まれている可能性がある。例えば、暗
電流が非常に大きく白点傷になる画素や、フォトダイオ
ードの電荷が垂直CCDに転送されず、黒点傷になる画
素等である。またこれらの欠陥画素は、宇宙線等の影響
により数が増加する場合もある。この様な欠陥画素が含
まれる場合、2つの撮像素子1、2からの画素出力が矛
盾した値になる。例えば、空間位置が同じである特定の
画素同士に注目したとき、露光量の小さい撮像素子出力
の方が露光量の大きい撮像素子出力よりも値が大きくな
ったり、または、露光量の比が10倍なのに、出力の値
の比が100倍になったりする可能性がある。このよう
な状況が孤立して現れた場合、欠陥画素検出器83はこ
の画素が欠陥画素であるという信号を出力する。この
時、後段の欠陥画素補正回路84が動作し、欠陥補正が
行われる。
【0085】しかし、2つの撮像素子1、2の蓄積時間
T1、T2は異なっている。このため、例えば高速で移
動する高輝度の物体を撮影すると、蓄積時間の長い撮像
素子の画像のほうが被写体ブレの影響が大きくなるた
め、2つの撮像素子1、2の画素出力が矛盾した値にな
る現象が広い連続した領域で生じると考えられる。この
ような場合は、欠陥補正を行わないようにする。これよ
り、誤った欠陥補正を防ぐことができる。
T1、T2は異なっている。このため、例えば高速で移
動する高輝度の物体を撮影すると、蓄積時間の長い撮像
素子の画像のほうが被写体ブレの影響が大きくなるた
め、2つの撮像素子1、2の画素出力が矛盾した値にな
る現象が広い連続した領域で生じると考えられる。この
ような場合は、欠陥補正を行わないようにする。これよ
り、誤った欠陥補正を防ぐことができる。
【0086】なお、欠陥補正には、1つ前の画素出力を
そのまま用いる方法や、周囲の画素出力の平均を欠陥画
その出力として用いる方法などがある。
そのまま用いる方法や、周囲の画素出力の平均を欠陥画
その出力として用いる方法などがある。
【0087】〔第8実施形態〕図17は、第8実施形態
に係る画像取り込み装置を説明する図である。
に係る画像取り込み装置を説明する図である。
【0088】この画像読み取り装置は、画像取り込み用
の撮像素子として、カラー型の撮像素子(CCD)10
1、102を用いている。また、両撮像素子101、1
02からの画像信号を合成するため合成器206は補間
機能も備えている。
の撮像素子として、カラー型の撮像素子(CCD)10
1、102を用いている。また、両撮像素子101、1
02からの画像信号を合成するため合成器206は補間
機能も備えている。
【0089】2つの撮像素子(CCD)101、102
を構成する画素は、相対的に同じ位置となっている。す
なわち、画素を1/2ピッチずらす、いわゆる画素ずら
しと呼ばれる手法は用いない。両撮像素子101、10
2上に設けたオンチップ型の色フィルタ101a、10
2aの配置は、相対的に同じ位置とすることもできる
し、配置は相対的にずれた位置とすることもできる。
を構成する画素は、相対的に同じ位置となっている。す
なわち、画素を1/2ピッチずらす、いわゆる画素ずら
しと呼ばれる手法は用いない。両撮像素子101、10
2上に設けたオンチップ型の色フィルタ101a、10
2aの配置は、相対的に同じ位置とすることもできる
し、配置は相対的にずれた位置とすることもできる。
【0090】図18〜図20は、色フィルタ101a、
102aの配置例を概念的に説明する図である。図18
は、RGBを全て相対的に同じ位置に配置した例であ
り、図18(a)は色フィルタ101aの配置を示し、
図18(b)は色フィルタ102aの配置を示す。図1
9は、Gを同じ位置、RBを相補的な位置に配置した例
であり、図19(a)は色フィルタ101aの配置を示
し、図18(b)は色フィルタ102aの配置を示す。
図20は、RGBを全て相対的にずれた位置に配置した
例であり、図20(a)は色フィルタ101aの配置を
示し、図20(b)は色フィルタ102aの配置を示
す。
102aの配置例を概念的に説明する図である。図18
は、RGBを全て相対的に同じ位置に配置した例であ
り、図18(a)は色フィルタ101aの配置を示し、
図18(b)は色フィルタ102aの配置を示す。図1
9は、Gを同じ位置、RBを相補的な位置に配置した例
であり、図19(a)は色フィルタ101aの配置を示
し、図18(b)は色フィルタ102aの配置を示す。
図20は、RGBを全て相対的にずれた位置に配置した
例であり、図20(a)は色フィルタ101aの配置を
示し、図20(b)は色フィルタ102aの配置を示
す。
【0091】なお、いずれの場合もベイヤー配列の撮像
素子1、2を組み合わせて取り込みを実現している場合
を示すが、別のカラーフィルタ配置や補色フィルター配
置でもよい。
素子1、2を組み合わせて取り込みを実現している場合
を示すが、別のカラーフィルタ配置や補色フィルター配
置でもよい。
【0092】例えば図20に示すように、ベイヤー配列
の撮像素子を2つ組み合わせて色フィルタの相対的位置
をずらして使用する場合、Gは全画素で情報が得られ、
RとBは2画素に1画素の割合で情報が得られる。
の撮像素子を2つ組み合わせて色フィルタの相対的位置
をずらして使用する場合、Gは全画素で情報が得られ、
RとBは2画素に1画素の割合で情報が得られる。
【0093】以下、2つの撮像素子1、2から得られた
露光量の異なるカラー画像情報の合成について説明す
る。
露光量の異なるカラー画像情報の合成について説明す
る。
【0094】図18に示すようにRGBを全て相対的に
同じ位置に配置した場合の合成は、これまでの実施形態
で説明したと同様に、単純に対応画素を適当な重み関数
で重ね合わせるだけで足りる。図19や図20に示すよ
うにRGBの少なくとも1つについて相対的位置ずれが
ある場合、合成や補間に際して工夫が必要となる。
同じ位置に配置した場合の合成は、これまでの実施形態
で説明したと同様に、単純に対応画素を適当な重み関数
で重ね合わせるだけで足りる。図19や図20に示すよ
うにRGBの少なくとも1つについて相対的位置ずれが
ある場合、合成や補間に際して工夫が必要となる。
【0095】具体的には、まず各色ごとに空間的に隣接
する画素出力を用いてRGB各成分の階調の合成を行い
(例えば図20に示す配置の場合、R11とr21を合
成し、G21とg31を合成し、G12とg22を合成
し、B22とb32を合成する)、このようにして得ら
れた合成後の値からRGBの補間を行ってフルカラーの
画像を生成することができる(第1の方法)。或いは、
最初に両方の画像それぞれについてRGB補間を行い、
それから各画素についてRGB各成分の階調の合成を行
ってもよい(第2の方法)。或いは、最初に一方の第2
撮像素子2の各画素について、第1撮像素子1の対応す
る画素の色成分の補間を行って(例えば図20に示す配
置の場合、第2撮像素子2のr’11、g’21、g’
12、b’22を周囲の画素から補間して生成し)、補
間後の対応する位置について他方の第1撮像素子1との
間でRGB各成分の階調の合成を行い(例えば図20に
示す配置の場合、R11とr’11を合成し、G21と
g’21を合成し、G12とg’12を合成し、B22
とb’22を合成し)、最後に再びRGB補間をするこ
ともできる(第3の方法)。
する画素出力を用いてRGB各成分の階調の合成を行い
(例えば図20に示す配置の場合、R11とr21を合
成し、G21とg31を合成し、G12とg22を合成
し、B22とb32を合成する)、このようにして得ら
れた合成後の値からRGBの補間を行ってフルカラーの
画像を生成することができる(第1の方法)。或いは、
最初に両方の画像それぞれについてRGB補間を行い、
それから各画素についてRGB各成分の階調の合成を行
ってもよい(第2の方法)。或いは、最初に一方の第2
撮像素子2の各画素について、第1撮像素子1の対応す
る画素の色成分の補間を行って(例えば図20に示す配
置の場合、第2撮像素子2のr’11、g’21、g’
12、b’22を周囲の画素から補間して生成し)、補
間後の対応する位置について他方の第1撮像素子1との
間でRGB各成分の階調の合成を行い(例えば図20に
示す配置の場合、R11とr’11を合成し、G21と
g’21を合成し、G12とg’12を合成し、B22
とb’22を合成し)、最後に再びRGB補間をするこ
ともできる(第3の方法)。
【0096】なお、第1番目の方法のように最初に各色
について空間的に隣接する画素を用いてRGB各色の階
調合成処理を行い、その後でRGB補間処理を行ったほ
うが計算量が少なくなる。逆に、第2番目の方法のよう
に先に補間処理を行ってから階調合成処理を行う場合
は、必要とされる計算量やメモリーは多くなるが、偽色
や解像に関しては有利になる。第3番目の方法のように
一方の画像の補間、階調の合成、合成した画像の補間を
行う方法は、これらの中間的な特徴を持つ。
について空間的に隣接する画素を用いてRGB各色の階
調合成処理を行い、その後でRGB補間処理を行ったほ
うが計算量が少なくなる。逆に、第2番目の方法のよう
に先に補間処理を行ってから階調合成処理を行う場合
は、必要とされる計算量やメモリーは多くなるが、偽色
や解像に関しては有利になる。第3番目の方法のように
一方の画像の補間、階調の合成、合成した画像の補間を
行う方法は、これらの中間的な特徴を持つ。
【0097】本実施形態において、特に被写体の輝度範
囲が狭い場合は、T1≒T2あるいは、T1<T2とす
ることにより、2つの撮像素子の露光量をほぼ等しくす
ることが可能である。この場合は、全画素についてGの
情報、また2画素に1画素の割合でR及びBの情報を得
ることができるので、2つの撮像素子1、2のゲイン調
整、及びRBの補間処理することにより偽色が少なく解
像の高い良好な画像を得ることができる。
囲が狭い場合は、T1≒T2あるいは、T1<T2とす
ることにより、2つの撮像素子の露光量をほぼ等しくす
ることが可能である。この場合は、全画素についてGの
情報、また2画素に1画素の割合でR及びBの情報を得
ることができるので、2つの撮像素子1、2のゲイン調
整、及びRBの補間処理することにより偽色が少なく解
像の高い良好な画像を得ることができる。
【0098】これらのことにより、被写体の輝度差が大
きい場合は、ダイナミックレンジの広いカラー画像を、
被写体の輝度差が小さい場合は偽色の少ない良好な画像
を得ることが出来る。
きい場合は、ダイナミックレンジの広いカラー画像を、
被写体の輝度差が小さい場合は偽色の少ない良好な画像
を得ることが出来る。
【0099】なお、各実施形態に関して個別に説明した
が、これらを任意に組み合わせることが可能なのは言う
までもない。例えば、第3実施形態に示すように、露光
の中央時刻を所定時間以内に制御し、第4実施形態に示
すガンマ処理回路221、222を具備し、かつ、第8
実施形態に示すように撮像素子がカラータイプであると
いった構成も可能である。
が、これらを任意に組み合わせることが可能なのは言う
までもない。例えば、第3実施形態に示すように、露光
の中央時刻を所定時間以内に制御し、第4実施形態に示
すガンマ処理回路221、222を具備し、かつ、第8
実施形態に示すように撮像素子がカラータイプであると
いった構成も可能である。
【0100】〔第9実施形態〕図21は、第9実施形態
に係る画像取り込み装置を示し、カメラに適用した例を
示す。
に係る画像取り込み装置を示し、カメラに適用した例を
示す。
【0101】このカメラ300は、筐体300a中に、
撮影レンズ3と、絞り4と、分割光学系であるビームス
プリッタ5と、第1及び第2CCD撮像素子1、2と、
画像検出合成回路306と、制御装置7とを備える。こ
こで、画像検出合成回路306は、図14に示す第6実
施形態の画像取り込み装置も用いて説明するならば、A
Dコンバータ21、22と、フレームメモリー121、
122と、AD変換後の出力を合成して出力する合成器
6とを有している。さらに、筐体300a背面には、モ
ニター用のファインダーとして機能する液晶ディスプレ
イ310が取付けられている。
撮影レンズ3と、絞り4と、分割光学系であるビームス
プリッタ5と、第1及び第2CCD撮像素子1、2と、
画像検出合成回路306と、制御装置7とを備える。こ
こで、画像検出合成回路306は、図14に示す第6実
施形態の画像取り込み装置も用いて説明するならば、A
Dコンバータ21、22と、フレームメモリー121、
122と、AD変換後の出力を合成して出力する合成器
6とを有している。さらに、筐体300a背面には、モ
ニター用のファインダーとして機能する液晶ディスプレ
イ310が取付けられている。
【0102】この実施形態では、被写体輝度範囲検出や
AF検出を第1及び第2CCD撮像素子1、2自体で行
い、液晶ディスプレイ310にはCCD撮像素子1、2
の出力を輝度合成したものを表示する。これより、ワイ
ドダイナミックレンジの画像を得ることができるカメラ
を得ることが可能である。また、動画と静止画両方でワ
イドダイナミックレンジの画像を得ることもできる。或
いは動画撮影時は一方のCCD撮像素子のみの画像情報
を用いて普通のビデオカメラと同様に撮影し、静止画の
場合のみに両方のCCD撮像素子の画像情報を用いて輝
度合成を行い、ワイドダイナミックレンジの静止画を得
る構成としてもよい。
AF検出を第1及び第2CCD撮像素子1、2自体で行
い、液晶ディスプレイ310にはCCD撮像素子1、2
の出力を輝度合成したものを表示する。これより、ワイ
ドダイナミックレンジの画像を得ることができるカメラ
を得ることが可能である。また、動画と静止画両方でワ
イドダイナミックレンジの画像を得ることもできる。或
いは動画撮影時は一方のCCD撮像素子のみの画像情報
を用いて普通のビデオカメラと同様に撮影し、静止画の
場合のみに両方のCCD撮像素子の画像情報を用いて輝
度合成を行い、ワイドダイナミックレンジの静止画を得
る構成としてもよい。
【0103】なお、画像合成等の手法は、第1〜第8実
施形態で説明したものを適宜組み合わせることで達成で
きる。ただし、被写体輝度範囲検出及び蓄積時間制御方
法としては、図15に示すものとほぼ同じであるが、動
画にも対応させる為に、被写体輝度範囲の変化に応じて
フィードバック制御を行い、変化に追従させる処理を行
う。
施形態で説明したものを適宜組み合わせることで達成で
きる。ただし、被写体輝度範囲検出及び蓄積時間制御方
法としては、図15に示すものとほぼ同じであるが、動
画にも対応させる為に、被写体輝度範囲の変化に応じて
フィードバック制御を行い、変化に追従させる処理を行
う。
【0104】〔第10実施形態〕図22は、第10実施
形態に係る画像取り込み装置を示し、デジタルスチルカ
メラに適用した例を示す。
形態に係る画像取り込み装置を示し、デジタルスチルカ
メラに適用した例を示す。
【0105】このカメラ400は、本体400aと、交
換可能なカメラレンズ400bとを備える。カメラレン
ズ400bは、普通の一眼レフカメラ用の交換レンズで
あり、一眼レフカメラ用のレンズマウント400cを介
して本体400aに固定されている。カメラレンズ40
0bを通過した光は、跳ね上げミラー(メインミラー)
401を通過して、フィルム面よりも後側の部分に相当
するレンズ403、404及び固定ミラー405からな
る縮小用の再結像光学系を介してビームスプリッタ5に
導かれる。一方、跳ね上げミラー401で反射された光
は、フォーカシングスクリーン410及びペンタプリズ
ム411を通過してレンズ412を通過した後、光学フ
ァインダ413に導かれる。
換可能なカメラレンズ400bとを備える。カメラレン
ズ400bは、普通の一眼レフカメラ用の交換レンズで
あり、一眼レフカメラ用のレンズマウント400cを介
して本体400aに固定されている。カメラレンズ40
0bを通過した光は、跳ね上げミラー(メインミラー)
401を通過して、フィルム面よりも後側の部分に相当
するレンズ403、404及び固定ミラー405からな
る縮小用の再結像光学系を介してビームスプリッタ5に
導かれる。一方、跳ね上げミラー401で反射された光
は、フォーカシングスクリーン410及びペンタプリズ
ム411を通過してレンズ412を通過した後、光学フ
ァインダ413に導かれる。
【0106】なお、跳ね上げミラー401の裏面側に
は、サブミラー420を配置しており、AFセンサー4
21によって焦点検出を行う(なお、別の位置にAF用
センサーを配置してもよいし、CCD撮像素子1、2自
体でAF検出を行う構成としてもよい)。
は、サブミラー420を配置しており、AFセンサー4
21によって焦点検出を行う(なお、別の位置にAF用
センサーを配置してもよいし、CCD撮像素子1、2自
体でAF検出を行う構成としてもよい)。
【0107】この実施形態では、被写体輝度範囲を検出
するため、普通の一眼レフカメラと同じように、AE用
分割センサー440を用いている(なお、CCD撮像素
子1、2自体で被写体輝度範囲検出を行う構成としても
よい)。
するため、普通の一眼レフカメラと同じように、AE用
分割センサー440を用いている(なお、CCD撮像素
子1、2自体で被写体輝度範囲検出を行う構成としても
よい)。
【0108】この様な構成により、デジタルスチルカメ
ラ用レンズとして一眼レフカメラ用交換レンズを活用す
ることができるし、第1〜第8実施形態に例示した発明
を適用することにより、ワイドダイナミックレンジの画
像を得ることができる。また、カメラ自体の操作方法は
通常の一眼レフカメラと全く同じなので、違和感の無い
操作が可能になる。また、撮影した画像をモニターする
ための液晶ディスプレイを付加した構成とすることもで
きる。
ラ用レンズとして一眼レフカメラ用交換レンズを活用す
ることができるし、第1〜第8実施形態に例示した発明
を適用することにより、ワイドダイナミックレンジの画
像を得ることができる。また、カメラ自体の操作方法は
通常の一眼レフカメラと全く同じなので、違和感の無い
操作が可能になる。また、撮影した画像をモニターする
ための液晶ディスプレイを付加した構成とすることもで
きる。
【0109】
【発明の効果】以上の説明から明らかなように、本発明
によれば、露光量の異なる2つの撮像素子出力を合成
し、かつその露光量を被写体に応じて制御することによ
り、被写体の輝度範囲が広い場合はダイナミックレンジ
の広い画像を、被写体の輝度範囲が狭い場合は良好な画
像を得ることが出来る。
によれば、露光量の異なる2つの撮像素子出力を合成
し、かつその露光量を被写体に応じて制御することによ
り、被写体の輝度範囲が広い場合はダイナミックレンジ
の広い画像を、被写体の輝度範囲が狭い場合は良好な画
像を得ることが出来る。
【0110】また、本発明によれば、露光の中央時刻差
を所定時間以内に制御することにより、画像のブレの影
響を最小とした画像を得ることができ、かつ、露光終了
後直ちに画像を撮像素子から読み出すことにより、撮像
素子の暗電流の影響を受けない画像を得ることができ
る。
を所定時間以内に制御することにより、画像のブレの影
響を最小とした画像を得ることができ、かつ、露光終了
後直ちに画像を撮像素子から読み出すことにより、撮像
素子の暗電流の影響を受けない画像を得ることができ
る。
【0111】また、本発明によれば、欠陥画素補正手段
を用いることにより、欠陥画素の補正も行うことが可能
である。これは、使用中に増加した欠陥画素にも対応可
能である。
を用いることにより、欠陥画素の補正も行うことが可能
である。これは、使用中に増加した欠陥画素にも対応可
能である。
【0112】また、本発明によれば、カラー撮像素子を
用いることにより、被写体の輝度範囲が広い場合はダイ
ナミックレンジの広いカラー画像を、被写体の輝度範囲
が狭い場合は偽色を抑え解像の高い画像を得ることがで
きる。
用いることにより、被写体の輝度範囲が広い場合はダイ
ナミックレンジの広いカラー画像を、被写体の輝度範囲
が狭い場合は偽色を抑え解像の高い画像を得ることがで
きる。
【図1】本発明の第1実施形態に係る画像取り込み装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図2】図1の装置における被写体輝度範囲が広い場合
の合成を示す図である。
の合成を示す図である。
【図3】図1の装置における被写体輝度範囲が中程度の
合成を示す図である。
合成を示す図である。
【図4】図1の装置における被写体輝度範囲が狭い場合
の合成を示す図である。
の合成を示す図である。
【図5】本発明の第2実施形態に係る画像取り込み装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図6】図5の装置における高輝度被写体の露光及び読
出しタイミングの説明図である。
出しタイミングの説明図である。
【図7】図5の装置における中輝度被写体の露光及び読
出しタイミングの説明図である。
出しタイミングの説明図である。
【図8】図5の装置における低輝度被写体の露光及び読
出しタイミングの説明図である。
出しタイミングの説明図である。
【図9】本発明の第3実施形態に係る画像取り込み装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図10】本発明の第4実施形態に係る画像取り込み装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図11】図10の装置におけるガンマ補正後の光電変
換特性を示す図である。
換特性を示す図である。
【図12】第4実施形態の変形例の構成を示すブロック
図である。
図である。
【図13】本発明の第5実施形態に係る画像取り込み装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図14】本発明の第6実施形態に係る画像取り込み装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図15】図14の装置における輝度範囲検出動作を示
す説明図である。
す説明図である。
【図16】本発明の第7実施形態に係る画像取り込み装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図17】本発明の第8実施形態に係る画像取り込み装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
【図18】図17の装置におけるカラーフィルター配置
の一例を示す図である。
の一例を示す図である。
【図19】図17の装置におけるカラーフィルター配置
の別の例を示す図である。
の別の例を示す図である。
【図20】図17の装置におけるカラーフィルター配置
のさらに別の例を示す図である。
のさらに別の例を示す図である。
【図21】本発明の第9実施形態に係るデジタルスチル
カメラの構成を説明する図である。
カメラの構成を説明する図である。
【図22】本発明の第10実施形態に係るデジタルスチ
ルカメラの構成を説明する図である。
ルカメラの構成を説明する図である。
【図23】従来の画像取り込み装置の構成を示す図であ
る。
る。
【図24】従来の画像取り込み装置の別の構成を示す図
である。
である。
【図25】輝度の合成方法を説明するための図である。
1 第1撮像素子 2 第2撮像素子 3 撮影レンズ 4 絞り 5 分光ミラー 6 合成器 7 制御装置 10 輝度範囲検出部 21,22 変換器 62 フレームメモリー 73 CPU 84 欠陥画素補正回路 101a,102a 色フィルタ 110 輝度範囲検出用素部 221,222 ガンマ処理回路 410 フォーカシングスクリーン 411 ペンタプリズム 413 光学ファインダ 440 AE用分割センサー AX 光軸 O 被写体 T1、T2 蓄積時間 r1、r2 光量分割比
Claims (19)
- 【請求項1】 被写体からの入射光軸上に配置されて光
路を2方向に分離するとともに、光量分離比を所定値に
保つ分割光学系と、 前記分割光学系により分割された1方の光路の光軸上と
他方の光路の光軸上とにそれぞれ配置された第1及び第
2撮像手段と、 被写体の輝度範囲である被写体輝度範囲を検出する被写
体輝度範囲検出手段と、 前記第1及び第2撮像手段のそれぞれの出力をAD変換
するAD変換手段と、 前記第1及び第2撮像手段のAD変換後の出力を合成し
て出力する合成手段と、 前記第1撮像手段による画像情報の蓄積時間と前記第2
撮像手段による画像情報の蓄積時間とを、前記被写体輝
度範囲検出手段によって検出された被写体輝度範囲に応
じて設定する制御手段とを備えることを特徴とする画像
取り込み装置。 - 【請求項2】 前記制御手段は、前記第1撮像手段の蓄
積時間をT1とし前記第2撮像手段の蓄積時間をT2と
したときに、蓄積時間T1、T2それぞれの値、及びそ
の比(T1/T2)を、前記被写体輝度範囲検出手段に
よって検出された被写体輝度範囲に応じて選択すること
を特徴とする請求項1記載の画像取り込み装置。 - 【請求項3】 前記分割光学系への入射光量に対して、
前記第1撮像手段に分割される光量の割合をr1とし、
前記第2撮像手段に分割される光量の割合をr2とした
とき、それらの比(r1/r2)を、2〜20の範囲内
において所定の固定値とすることを特徴とする請求項2
記載の画像取り込み装置。 - 【請求項4】 前記比(r1/r2)を、4〜10の範
囲内において所定の固定値とすることを特徴とする請求
項3記載の画像取り込み装置。 - 【請求項5】 前記制御手段は、画像取り込みの指示に
基づくレリーズ動作時において、前記第1及び第2撮像
手段の各蓄積時間の中央時刻の差が所定量以下になるよ
うに前記第1及び第2撮像手段を制御することを特徴と
する請求項1記載の画像取り込み装置。 - 【請求項6】 前記第1及び第2撮像手段のいずれかで
1回の撮像により得られる画像情報を一時的に保持する
記憶手段を具備するとともに、レリーズ動作時に、第1
及び第2撮像素子の各蓄積時間の中央時刻を所定量以下
の違いに制御して静止画を取り込む場合において、各蓄
積時間の蓄積終了時刻の差が所定量以上である場合は、
蓄積時間の短い一方の撮像手段の出力する画像情報を先
に読み出し、一時的に前記記憶手段に保持し、続けて蓄
積時間の長い他方の撮像手段の出力する画像情報を読み
出し、前記記憶手段に保持された画像情報と前記他方の
撮像手段の画像情報とに基づいて合成手段により画像の
合成を行うことを特徴とする請求項1及び請求項5のい
ずれか記載の画像取り込み装置。 - 【請求項7】 前記第1及び第2撮像手段から1回の撮
像で出力される画像情報をそれぞれ一時的に保持する第
1及び第2記憶手段を具備するとともに、前記第1及び
第2記憶手段に記憶された画像情報に基づいて前記合成
手段により画像の合成を行うことを特徴とする請求項1
及び請求項5のいずれか記載の画像取り込み装置。 - 【請求項8】 前記第1及び第2撮像手段から出力され
るそれぞれの画像情報の階調を圧縮する処理手段を具備
するとともに、当該処理手段による階調圧縮後の画像情
報に基づいて前記合成手段により画像の合成を行うこと
を特徴とする請求項1記載の画像取り込み装置。 - 【請求項9】 前記被写体輝度範囲検出手段は、前記第
1及び第2撮像素子とは別に設けた露光量検出センサー
であることを特徴とする請求項1に記載の画像取り込み
装置。 - 【請求項10】 前記被写体輝度範囲検出手段は、前記
第1及び第2撮像素子とは別に設けた多分割された光電
検出素子からなる露光量検出センサーであり、当該露光
量検出センサーは、画像取り込みを行うレリーズ動作時
のレンズ絞り値及びシャッター速度を決定するための測
光センサーを兼ねることを特徴とする請求項1及び請求
項9のいずれか記載の画像取り込み装置。 - 【請求項11】 前記被写体輝度範囲検出手段は、前記
第1及び第2撮像手段自身を使用することによって実現
され、前記第1及び第2撮像手段の蓄積時間T1、T2
の比(T1/T2)を所定値以上に保ったまま蓄積時間
T1、T2を変化させて前記被写体輝度範囲を検出し、
当該被写体輝度範囲に基づいて最適な蓄積時間T1、T
2の値及び比(T1/T2)を決定し、前記制御手段
は、レリーズ動作時において、前記第1及び第2撮像手
段を制御して前記決定された蓄積時間T1、T2で蓄積
を行わせることを特徴とする請求項1記載の画像取り込
み装置。 - 【請求項12】 前記合成手段は、前記第1及び第2撮
像手段の出力する画像情報の輝度が重複する輝度重複部
分では、輝度に関して連続的に変化する重み関数を用い
て合成を行い、かつ、当該重み関数は、前記被写体輝度
範囲に応じて形やパラメーターが変わることを特徴とす
る請求項1記載の画像取り込み装置。 - 【請求項13】 前記合成手段は、輝度差の異なる複数
の場合に対応して複数のルックアップテーブルを有し、
撮像条件に応じてルックアップテーブルを切り替えて、
前記第1及び第2撮像手段の出力する画像情報に基づい
て合成を行うことを特徴とする請求項1及び請求項12
のいずれか記載の画像取り込み装置。 - 【請求項14】 前記合成手段は、演算回路により構成
されており、前記第1及び第2撮像手段の出力する画像
情報を所定の重み関数で演算して合成するとともに、前
記重み関数におけるパラメーターを露光量差に応じて変
更することを特徴とする請求項1記載の画像取り込み装
置。 - 【請求項15】 前記合成手段は、前記制御手段を構成
する中央演算処理装置におけるソフトウエア処理により
合成処理を行うことを特徴とする請求項1及び請求項1
2のいずれか記載の画像取り込み装置。 - 【請求項16】 前記合成手段は、前記第1撮像手段の
出力する画像情報と前記第2撮像手段の出力する画像情
報とが矛盾する値として孤立する画素で出現した場合に
当該画素を欠陥画素と見なして当該欠陥画素を示す信号
を出力し、かつ、前記合成手段の後段に前記欠陥画素に
ついて欠陥補正を行う欠陥補正処理手段をさらに備える
ことを特徴とする請求項1記載の画像取り込み装置。 - 【請求項17】 前記第1及び第2撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であることを特徴とする請求項1記載の画像取り
込み装置。 - 【請求項18】 前記第1及び第2撮像手段は、オンチ
ップカラーフィルタを用いたカラー撮像素子であり、画
素は相対的に同じ空間位置に配置されるが、オンチップ
カラーフィルタの色は相対的にずれた空間位置に配置さ
れることを特徴とする請求項1及び請求項17のいずれ
か記載の画像取り込み装置。 - 【請求項19】 前記被写体輝度範囲検出手段は、前記
第1及び第2撮像手段とは別に設けた露光量検出センサ
ーであり、前記制御手段は、レリーズ時以外にも前記第
1及び第2撮像手段を駆動して画像を取り込む必要があ
る場合に、前記第1及び第2撮像素子の内どちらか一方
を選択して画像情報の蓄積動作を行わせ、他方による画
像情報の蓄積動作を中止させ、かつ、前記合成手段の動
作を中止させて電力の供給量を減少させることを特徴と
する請求項1、請求項9及び請求項10のいずれか記載
の画像取り込み装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10175301A JPH11355650A (ja) | 1998-06-09 | 1998-06-09 | 画像取り込み装置 |
US09/327,677 US6529640B1 (en) | 1998-06-09 | 1999-06-08 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10175301A JPH11355650A (ja) | 1998-06-09 | 1998-06-09 | 画像取り込み装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11355650A true JPH11355650A (ja) | 1999-12-24 |
Family
ID=15993713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10175301A Withdrawn JPH11355650A (ja) | 1998-06-09 | 1998-06-09 | 画像取り込み装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11355650A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005608A (ja) * | 2004-06-17 | 2006-01-05 | Hitachi Ltd | 撮像装置 |
JP2008177903A (ja) * | 2007-01-19 | 2008-07-31 | Nikon Corp | 撮像装置 |
JP2008301331A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2008301332A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2011171861A (ja) * | 2010-02-16 | 2011-09-01 | Sharp Corp | 固体撮像装置および電子情報機器 |
JP2013013111A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2013013112A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
WO2015001646A1 (ja) * | 2013-07-04 | 2015-01-08 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
WO2016059983A1 (ja) * | 2014-10-14 | 2016-04-21 | オリンパス株式会社 | 撮像システム |
CN109196855A (zh) * | 2016-03-31 | 2019-01-11 | 株式会社尼康 | 摄像装置、图像处理装置及电子设备 |
-
1998
- 1998-06-09 JP JP10175301A patent/JPH11355650A/ja not_active Withdrawn
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006005608A (ja) * | 2004-06-17 | 2006-01-05 | Hitachi Ltd | 撮像装置 |
JP2008177903A (ja) * | 2007-01-19 | 2008-07-31 | Nikon Corp | 撮像装置 |
JP2008301331A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2008301332A (ja) * | 2007-06-01 | 2008-12-11 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2011171861A (ja) * | 2010-02-16 | 2011-09-01 | Sharp Corp | 固体撮像装置および電子情報機器 |
JP2013013111A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JP2013013112A (ja) * | 2012-08-10 | 2013-01-17 | Keyence Corp | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JPWO2015001646A1 (ja) * | 2013-07-04 | 2017-02-23 | 株式会社ニコン | 電子機器、及び撮像素子 |
WO2015001646A1 (ja) * | 2013-07-04 | 2015-01-08 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
CN109256404A (zh) * | 2013-07-04 | 2019-01-22 | 株式会社尼康 | 电子设备 |
CN109742094A (zh) * | 2013-07-04 | 2019-05-10 | 株式会社尼康 | 电子设备 |
CN109743514A (zh) * | 2013-07-04 | 2019-05-10 | 株式会社尼康 | 电子设备 |
CN109743514B (zh) * | 2013-07-04 | 2022-01-28 | 株式会社尼康 | 摄像元件以及摄像装置 |
CN109256404B (zh) * | 2013-07-04 | 2023-08-15 | 株式会社尼康 | 摄像元件以及电子设备 |
CN109742094B (zh) * | 2013-07-04 | 2024-05-31 | 株式会社尼康 | 摄像元件以及电子设备 |
WO2016059983A1 (ja) * | 2014-10-14 | 2016-04-21 | オリンパス株式会社 | 撮像システム |
JP6017735B2 (ja) * | 2014-10-14 | 2016-11-02 | オリンパス株式会社 | 撮像システム |
US10206554B2 (en) | 2014-10-14 | 2019-02-19 | Olympus Corporation | Image pickup system with white spot correction |
CN109196855A (zh) * | 2016-03-31 | 2019-01-11 | 株式会社尼康 | 摄像装置、图像处理装置及电子设备 |
EP3439282A4 (en) * | 2016-03-31 | 2019-11-13 | Nikon Corporation | IMAGE CAPTURE DEVICE, IMAGE PROCESSING DEVICE, AND ELECTRONIC APPARATUS |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6529640B1 (en) | Image processing apparatus | |
JP2000078463A (ja) | 画像取り込み装置 | |
JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
JP4025207B2 (ja) | 固体撮像素子及びデジタルカメラ | |
JP2011059337A (ja) | 撮像装置 | |
JP4487342B2 (ja) | デジタルカメラ | |
JP2003319240A (ja) | 撮像装置 | |
JP5199736B2 (ja) | 画像撮像装置 | |
JP4160205B2 (ja) | 電子スチルカメラ | |
JP3546854B2 (ja) | カメラボディおよび露出制御方法 | |
JPH11355650A (ja) | 画像取り込み装置 | |
JP3546853B2 (ja) | 撮像装置及び画像再生システム | |
JP2001136434A (ja) | 撮像装置 | |
JP2001157109A (ja) | 電子カメラおよび画像データ処理用記録媒体 | |
JP4150599B2 (ja) | 露出補正機能付きデジタルカメラ | |
US20060221217A1 (en) | Image taking apparatus and digital camera | |
JP4178046B2 (ja) | デジタルカメラ | |
JP4530149B2 (ja) | ハイダイナミックレンジカメラシステム | |
JP3843924B2 (ja) | 撮像装置 | |
JP4335648B2 (ja) | デジタルカメラ及びデジタルカメラの撮像方法 | |
JP2000224472A (ja) | 撮像制御装置および撮像制御方法 | |
JP2000013661A (ja) | デジタルカメラ | |
JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
JP2000102022A (ja) | デジタルカメラ | |
JP3546855B2 (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050906 |