JP4530149B2 - ハイダイナミックレンジカメラシステム - Google Patents

Description

本発明は、複数の撮像デバイスを使用したビデオカメラに係わり、よりダイナミックレンジの広い画像出力を得るハイダイナミックレンジカメラシステムに関する。

固体撮像デバイスを使用した最近のビデオカメラでは、固体撮像デバイスで光電変換した信号をデジタル信号に変換して処理する方式が殆どである。その際、光電変換されたアナログ信号をＡ／Ｄ変換器でデジタル化するが、光量に対してリニアな特性を持つ光電変換した信号をＡ／Ｄ変換器に入力しただけでは、Ａ／Ｄ変換器のダイナミックレンジを有効に使えない。そこで、モニタ上でハイダイナミックレンジの被写体画像を再現するために、人間の目の解像度は暗い方に対しては高く、明るい方に対しては低いという特性があることを利用し、光電変換されたアナログ信号に対し非線形的な伝達特性を形成する回路（一般的には、ガンマ回路、ニー回路など）をＡ／Ｄ変換器の前に配設するか、又は高性能化したデジタル技術で非線形化して規定された信号レベルの下である程度ハイダイナミックレンジ化された信号を得ている。

また、固体撮像デバイスそのものの特性を技術的に向上させダイナミックレンジを広げてきているが、固体撮像デバイスの高密度化のため画素数の増加により個々の画素面積がさらに小さくなり、ダイナミックレンジがさらに狭くなる傾向にある。そのため、例えば、室内の暗い情景と窓を通して非常に明るい屋外を撮像した場合に、屋外の一定輝度以上の部分が全て白くなり情景の明暗の階調が失われた、いわゆる「白とび」や、室内の一定輝度以下の部分が黒くなり、やはり情景の明暗の階調が失われた、いわゆる「黒つぶれ」が発生しやすくなる。

そこで、撮像レンズによる結像光を、プリズム等の分光手段を用いて複数（例えば２つ）の固体撮像デバイスに分光し光電変換して得られた信号を合成してダイナミックレンジを改善する技術が開示されている。

その手法の一つとして、特許第３５４６８５３号において、被写体の輝度分布を高輝度領域と低輝度領域の２つの部分に分割し、高輝度領域のほぼ中間の部分が適正となるように第１撮像素子の露光制御を行い、低輝度領域のほぼ中間の部分が適正となるように第２撮像素子の露光制御を行い、高輝度領域の輝度信号が適正範囲に属する画素については第１撮像素子により得られた画像データを適用し、低輝度領域の輝度信号が適正範囲に属する画素（重複部分を除く）については第２撮像素子により得られた画像データを適用して画像データを合成することにより、被写体の輝度分布の全域に対して白とびや黒つぶれのない適正な画像を得ている。

前記第１撮像素子と第２撮像素子の露光条件を変える方法として、様々な方法が考案され、第１の方法として、第１撮像素子と第２撮像素子の露光時間（電荷蓄積時間）及びプリズムの反射率と透過率をほぼ同じにし、第１撮像素子と第２撮像素子として本質的に感度の異なるものを用いる（第１撮像素子の感度を低くする）。

第２の方法として、第１画像データ及び第２画像データのゲイン設定を変える。

第３の方法として、第１撮像素子と第２撮像素子の露光時間をほぼ同じにし、ビームスプリッタによる反射率と透過率の比を変える（透過率を高くする）。

第４の方法として、第１撮像素子と第２撮像素子の露光時間及びビームスプリッタの反射率と透過率をほぼ同じにし、ビームスプリッタと第１撮像素子の間にＮＤフィルタやリレーレンズ等を配置し、第１撮像素子に入射する光量を実質的に少なくする。

第５の方法として、第２撮像素子の露光時間を第１撮像素子の露光時間よりも長くする、などの発明が開示されている。
特許第３５４６８５３号公報

上記従来の技術において、第１撮像素子と第２撮像素子として本質的に感度の異なるものを用いることは固体撮像デバイスの選択範囲が制限され、特殊な固体撮像デバイスの使用を必要とする場合もあり、また、ビームスプリッタと第１撮像素子の間にＮＤフィルタやリレーレンズ等を配置し、第１撮像素子に入射する光量を実質的に少なくしたり、ビームスプリッタによる反射率と透過率の比を変えることは、第１撮像素子と第２撮像素子に入射する光量比が常に一定となり変化させることができないため、被写体の照明条件に最適な撮像状態を形成することができず、さらに、第２撮像素子の露光時間を第１撮像素子の露光時間よりも長くすることは、動画像の場合露光時間の長い第２撮像素子の画像データにボケを生ずるなどの問題があった。

本願発明者は、上記課題を下記の手段により解決した。
（１）被写体を撮像する絞り機構を備えた撮像レンズと、該撮像レンズで撮像された光束を少なくとも２系統に分光する分光光学系と、該分光光学系によって分光されたいずれか１つの光路の結像位置に配設された撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系によって分光された他のいずれか１つの光路の結像位置に結像された光学像を第１リレーレンズで再撮像し第２リレーレンズで再結像する絞り機構を備えたリレーレンズ光学系と、該リレーレンズ光学系の再結像された結像位置に配設された撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備えて構成してなることを特徴とするハイダイナミックレンジカメラシステム。

（２）被写体を撮像する絞り機構を備えた撮像レンズと、該撮像レンズで撮像された光学像を第１リレーレンズで再撮像し、同第１リレーレンズの出射光学像を２系統に分光する分光光学系を介して前記第１リレーレンズの出射光学像をそれぞれ再結像する２つの第２リレーレンズＡ９、Ｂ９を備えたリレーレンズ光学系と、前記分光光学系と第２リレーレンズＡ９、Ｂ９のいずれか一つとの間に配設された絞り機構と、前記分光光学系によって反射（又は透過）分光された光路の前記第２リレーレンズＡ９の結像位置に配設された撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系によって透過（又は反射）分光された光路のもう一つの第２リレーレンズＢ９の結像位置に配設された撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備えて構成してなることを特徴とするハイダイナミックレンジカメラシステム。

（３）前記第１リレーレンズの出射光学像を２系統に分光する前記分光光学系に、
該分光光学系によって９０度の反射角で反射分光された光学像をさらに９０度の反射角で全反射する反射鏡を備えたことを特徴とする前項（２）に記載のハイダイナミックレンジカメラシステム。

（４）前記信号処理回路が、カメラ回路Ａ５又はＢ１２から出力された映像信号の前記撮像レンズの絞り制御による露光過多で明暗の階調を失った画像領域と、前記リレーレンズ光学系の絞り機構で適正露光に制御された光学像を撮像部Ｂ１１又はＡ４のいずれかで撮像しカメラ回路Ｂ１２又はＡ５のいずれかから出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号とを合成し補正してなることを特徴とする前項（１）〜（３）のいずれか１項にに記載のハイダイナミックレンジカメラシステム。

（５）前記リレーレンズ光学系が、前記撮像レンズによって結像された光学像を再撮像する第１リレーレンズと、第１リレーレンズの射出光束を再結像する第２リレーレンズとで構成され、各リレーレンズの焦点距離値の組み合わせにより撮像部Ｂ１１又はＡ４のいずれかに結像する再結像倍率が設定されてなることを特徴とする前項（１）〜（４）のいずれか１項に記載のハイダイナミックレンジカメラシステム。

（６）前記撮像部Ａ４、Ｂ１１が、該撮像部のそれぞれの固体撮像デバイスの露光時間を個々に制御する露光時間制御手段を備えてなることを特徴とする前項（１）〜（５）のいずれか１項に記載のハイダイナミックレンジカメラシステム。

（７）前記撮像部Ａ４、Ｂ１１及びカメラ回路Ａ５、Ｂ１２が、それぞれ単板撮像方式の組み合わせ、又は単板撮像方式と２乃至４方向に分光できる分光プリズムを使用した多板撮像方式の組み合わせ、又はそれぞれ２乃至４方向に分光できる分光プリズムを使用した多板撮像方式の組み合わせで構成してなることを特徴とする前項（１）〜（６）のいずれか１項に記載のハイダイナミックレンジカメラシステム。

本願発明により次のような効果が発揮される。
１．本願請求項１又は請求項４の発明によれば、
撮像レンズの絞り機構を制御して撮像された光学像が撮像部Ａ４で光電変換され、その光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、撮像レンズの絞り機構を制御して撮像された光学像を、さらに第１リレーレンズで再撮像し第２リレーレンズで再結像するリレーレンズ光学系の絞り機構でさらに光量制御して撮像された光学像が撮像部Ｂ１１で光電変換され、撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備え、
かつ、前記信号処理回路が、カメラ回路Ａ５又はＢ１２から出力された映像信号の前記撮像レンズの絞り制御による露光過多で明暗の階調を失った画像領域と、前記リレーレンズ光学系の絞り機構で適正露光に制御された光学像を撮像部Ｂ１１又はＡ４のいずれかで撮像しカメラ回路Ｂ１２又はＡ５のいずれかから出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号とを合成し補正できるので、
例えば、室内の情景と窓を通して明るい屋外を撮像した場合に、前記撮像レンズの絞り機構の絞り値を撮像部Ａ４で室内の情景が適正露光で得られるように制御して撮像し、カメラ回路Ａ５から出力された、室内の情景の階調は維持されているが、明るい屋外を撮像した明暗の階調を失い「白とび」が生じている画像領域と、前記分光光学系によって分光された光学像を、さらにリレーレンズ光学系の絞り機構の絞り値を撮像部Ｂ１１で適正露光が得られるように制御し、明るい屋外が「白とび」を生じていない明暗の階調が明確なカメラ回路Ｂ１２から出力された映像信号から、前記カメラ回路Ａ５から出力された明暗の階調を失った「白とび」画像領域部分と同一画像領域の画像を抽出し、信号処理回路で、前記「白とび」が生じている画像領域と合成し補正しているので、広いダイナミックレンジの画像が得られる。

２．本願請求項２又は請求項４の発明によれば、
撮像レンズの絞り機構を制御して撮像され、前記リレーレンズ光学系の絞り機構の直前に配設され２系統に分光する分光光学系によって反射分光され、前記一つの第２リレーレンズＡ９の結像位置に配設された撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記撮像レンズの絞り機構を制御して撮像された光学像を、前記分光光学系によって透過分光され、前記リレーレンズ光学系の絞り機構でさらに光量制御された光学像がもう一つの第２リレーレンズＢ９の結像位置に配設された撮像部Ｂ１１で光電変換され、撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備え、
かつ、前記信号処理回路が、カメラ回路Ａ５又はＢ１２から出力された映像信号の前記撮像レンズの絞り制御による露光過多で明暗の階調を失った画像領域と、前記リレーレンズ光学系の絞り機構で適正露光に制御された光学像を撮像部Ｂ１１又はＡ４のいずれかで撮像しカメラ回路Ｂ１２又はＡ５のいずれかから出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号とを合成し補正できるため、ハイダイナミックレンジカメラシステムを構築できる。

このため例えば、室内の情景と窓を通して明るい屋外を撮像した場合に、前記撮像レンズの絞り機構の絞り値を撮像部Ａ４で室内の情景が適正露光で得られるように制御して撮像し、カメラ回路Ａ５から出力された、室内の情景の階調は維持されているが、明るい屋外を撮像した明暗の階調を失い「白とび」が生じている画像領域と、前記分光光学系によって分光された光学像を、さらにリレーレンズ光学系の絞り機構の絞り値を撮像部Ｂ１１で適正露光が得られるように制御し、明るい屋外が「白とび」を生じていない明暗の階調が明確なカメラ回路Ｂ１２から出力された映像信号から、前記カメラ回路Ａ５から出力された明暗の階調を失った「白とび」画像領域部分と同一画像領域の画像を抽出し、信号処理回路で、前記「白とび」が生じている画像領域と合成し補正しているので、広いダイナミックレンジの画像が得られる。

３．本願請求項３の発明によれば、
前記第１リレーレンズの出射光学像を２系統に分光する前記分光光学系に、
該分光光学系によって９０度の反射角で反射分光された光学像をさらに９０度の反射角で全反射する反射鏡を備えているので、
前記撮像レンズで撮像された光学像を第１リレーレンズで再撮像し２つの第２リレーレンズでそれぞれ再結像する絞り機構を備えたリレーレンズ光学系が、第１リレーレンズと第２リレーレンズＢ９又はＡ９が光路中心上に直線的に配置され、さらに、分光光学系で反射された光路をさらに反射鏡で直角に反射させ第２リレーレンズＡ９を第２リレーレンズＢ９と平行に配置すれば平行配置型光学系を形成することもできるので、高さ方向を押さえた構造の小型のハイダイナミックレンジカメラシステムを構築できる。

４．本願請求項５の発明によれば、
請求項１〜４の効果に加えて、
前記リレーレンズ光学系が、前記撮像レンズによって結像された光学像を再撮像する第１リレーレンズと、第１リレーレンズの射出光束を再結像する第２リレーレンズとで構成する各リレーレンズの焦点距離値の組み合わせにより撮像部Ｂ１１又はＡ４のいずれかに結像する再結像倍率が設定できるので、撮像部Ａ４の固体撮像デバイスの対角線長に対し、撮像部Ｂ１１に対角線長が異なる固体撮像デバイスを使用できる。また、アスペクト比の異なる固体撮像デバイスを使用する場合にも対応できる。

５．本願請求項６の発明によれば、
前記請求項１〜５の効果に加えて、前記撮像部Ａ４、Ｂ１１が、該撮像部のそれぞれの固体撮像デバイスの露光時間を個々に、又は同時に制御する露光時間制御手段を備えているので、撮像部Ａ４の露光時間を撮像部Ｂ１１の露光時間よりも短く（又は長く）して、一方のカメラ回路から高速で動く被写体像の瞬間静止画像を出力し、他のカメラ回路からは連続した動画像を出力することができる。

また、前記撮像レンズとリレーレンズ光学系の各絞り機構を制御して、前記カメラ回路Ｂ１２から出力された明暗の階調を失った画像領域部分と同一領域の画像を抽出して合成し補正する方式に加えて、それぞれの固体撮像デバイスの露光時間を制御してさらにダイナミックレンジを広げたり、被写体像の連続した瞬間静止画像を出力することもできる。

６．本願請求項７の発明によれば、
前記請求項１〜６の効果に加えて、前記撮像部Ａ４、Ｂ１１及びカメラ回路Ａ５、Ｂ１２が、高画素数の固体撮像デバイス及び標準画素数の固体撮像デバイスのそれぞれ単板撮像方式の組み合わせ、又は高画素数の固体撮像デバイスによる単板撮像方式と２乃至４方向に分光できる分光プリズムを使用した標準画素数の固体撮像デバイスによる多板撮像方式の組み合わせ、又はそれぞれ２乃至４方向に分光できる分光プリズムを使用した多板撮像方式の組み合わせなど、コストに重点を置いた選択、高性能化に重点を置いた選択など種々の方式に対応できる。

本願発明を実施するための最良の形態を実施例図に基づいて説明する。図１は本願発明の実施例１によるハイダイナミックレンジカメラシステムのブロック図であり、図２は同発明の実施例における信号処理を説明するための信号波形図であり、図３は実施例２によるハイダイナミックレンジカメラシステムのブロック図であり、図４は同発明の実施例３によるハイダイナミックレンジカメラシステムのブロック図である。

図１において、被写体を撮像する絞り機構２を備えた撮像レンズ１と、該撮像レンズ１で撮像された光束を２系統に分光する分光光学系３と、該分光光学系３によって分光された１つの光路の結像位置に配設された単板撮像方式の撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系３によって分光されたもう１つの光路の結像位置に結像された光学像６を第１リレーレンズ７で再撮像し第２リレーレンズ９で再結像する絞り機構８を備えたリレーレンズ光学系１０と、該リレーレンズ光学系１０の再結像された結像位置に配設された単板撮像方式の撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力端子１６に出力する信号処理回路１３とを備えてハイダイナミックレンジカメラシステム１４を構成している。

被写体を撮像する撮像レンズ１は、例えば、放送用テレビカメラ等に使用されるズーミング、フォーカシング、絞り制御をサーボモータを駆動して制御する電動ズームレンズである。撮像レンズ１で撮像された被写体の光束は２つのプリズムの組み合わせ、又は半透明鏡による２系統に分光する分光光学系３を介して撮像部Ａ４及び光学像６の位置に結像される。

前記分光光学系３で反射された光束は撮像部Ａ４に結像される。撮像部Ａ４は、複数種の色フィルタが所定の順序で配列された単板カラー撮像方式の固体撮像デバイス（以後、ＣＣＤと記述）が内蔵され、電子シャッタ機能を持つＣＣＤ駆動部も備えていて、撮像部Ａ４で光電変換された信号はカメラ回路Ａ５によってガンマ補正、ニー補正等を行って所定の方式の映像信号に形成され、信号処理回路１３へ入力される。

一方、前記分光光学系３を透過して撮像レンズ１の結像位置に結像した光学像６は、リレーレンズ光学系１０を構成する第１リレーレンズ７で再撮像され、該第１リレーレンズ７で略平行光束となった光束はリレーレンズ光学系１０の瞳位置に配設された絞り機構８を介して第２リレーレンズ９により撮像部Ｂ１１に再結像される。撮像部Ａ４と同様な単板カラー撮像方式のＣＣＤ及びＣＣＤ駆動部を備えた撮像部Ｂ１１で光電変換された信号はカメラ回路Ｂ１２によってガンマ補正、ニー補正等を行って所定の方式の映像信号に形成され、信号処理回路１３へ入力される。

信号処理回路１３では、カメラ回路Ａ５から出力された映像信号の前記撮像レンズ１の絞り機構２の制御による露光過多等で画像の明暗の階調を失った画像領域と、前記リレーレンズ光学系１０の絞り機構８で適正露光に制御された撮像部Ｂ１１及びそのカメラ回路Ｂ１２から出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号とを合成し、補正された映像信号を出力端子１６に出力している。

図２において、本願発明のハイダイナミックレンジカメラシステム１４で１１ステップのグレースケールチャートを撮像したときの映像信号波形を示す。縦軸は映像信号の出力レベルを示し、横軸は、例えば、水平走査線の２ライン分（又は垂直走査線の２フィールド分）の時間軸波形を示す。

図２（ａ）は、被写体を撮像したとき、撮像レンズ１の絞り機構２で撮像部Ａ４において適正露光が得られるように絞り値を制御したときのカメラ回路Ａ５の出力波形を示す。

図２（ｂ）は、図２（ａ）の適正露光時の約６０％までの映像レベルが１００％レベルになるように撮像レンズ１の絞り機構２の絞り値を制御した場合のカメラ回路Ａ５の出力波形を示す。すなわち６０％以上のレベルが「白とび」の映像信号の状態になり、被写体の明暗の階調が失われ、かつディテールも失われている。

図２（ｃ）は、撮像レンズ１の絞り機構２の絞り値を図２（ｂ）と同値とし、さらに、撮像部Ｂ１１で適正露光が得られるようにリレーレンズ光学系１０の絞り機構８の絞り値を制御したときのカメラ回路Ｂ１２の出力波形を示す。

図２（ｄ）は、信号処理回路１３において、図２（ｂ）で得たカメラ回路Ａ５の出力信号の「白とび」状態の画像領域に、図２（ｃ）で得たカメラ回路Ｂ１２の出力信号の前記「白とび」状態の画像領域と同等の画像領域の映像信号を抽出し、カメラ回路Ａ５の出力信号の「白とび」状態の画像領域にはめ込み合成して、１００％の規定レベルとした信号処理回路１３の出力波形を示す。

図２の説明で明白なように、例えば、室内の情景と窓を通して明るい屋外を撮像した場合に、前記撮像レンズ１の絞り機構２の絞り値を撮像部Ａ４で室内の情景が適正露光で得られるように制御して撮像し、カメラ回路Ａ５から出力された、室内の情景の階調は維持されているが、明るい屋外を撮像した明暗の階調を失い「白とび」が生じている画像領域と、前記分光光学系３によって分光された光学像６を、さらにリレーレンズ光学系１０の絞り機構８の絞り値を撮像部Ｂ１１で適正露光が得られるように制御し、明るい屋外が「白とび」を生じていない明暗の階調が明確なカメラ回路Ｂ１２から出力された映像信号から、前記カメラ回路Ａ５から出力された明暗の階調を失った「白とび」画像領域部分と同一画像領域の画像を抽出し、信号処理回路１３で、前記「白とび」が生じている画像領域と合成し補正しているので、広いダイナミックレンジの画像が得られる。

ＣＣＤ等の固体撮像デバイスのダイナミックレンジに対し、その拡大されるダイナミックレンジの倍数は被写体の明るさ、撮像条件によって一様ではないが、リレーレンズ光学系１０の絞り機構８の絞り値は、１．４／２．０／２．８／４．０／５．６／８／１１／１６／２２というように、２の平方根を公比とする目盛りを刻むことができる。レンズに入る光の量は光束の断面積（レンズ口径の２乗）に比例するので、像の明るさはＦナンバーの２乗に反比例することになり、目盛りが一段大きくなるごとに明るさは１／２倍となる。したがって、撮像レンズ１の絞り機構２の絞り値を、仮にＦ４．０に設定したときに「白とび」が生じた場合に対し、リレーレンズ光学系１０の絞り機構８の絞り値によってどのくらいダイナミックレンジが広がったかが表現されるので、仮に、その絞り値がＦ２２とすれば、Ｆ４〜Ｆ２２＝２⁵となり、３２倍に広がったダイナミックレンジを得たことになる。

即ち、前記例のように、室内情景の明るさ２０００ルックスで、窓を通して撮像した２０００ルックス以上の明るい屋外情景が「白とび」の状態であれば、その倍数は、２０００（ルックス）×３２（倍）＝６４０００（ルックス）となり、室内情景を再現できる最低照度から６４０００ルックスまで「黒つぶれ」及び「白とび」の無い映像信号が信号処理回路１３の出力に得られることになる。

ところで、ＣＣＤ等の固体撮像デバイスのダイナミックレンジは一般的には狭く、画素の大きさにもよるが、コントラスト比で１：３２程度と言われているので、室内情景を再現できる最低照度を、２０００÷３２＝６２．５（ルックス）とすれば、コントラスト比１：３２から、６２．５（ルックス）：６４０００（ルックス）＝１：１０２４のコントラスト比に改善されたことになる。

また、分光光学系３の分光比率を、例えば、反射：透過＝４：１とすれば、さらに４倍の、１：４０９６のコントラスト比に改善されたハイダイナミックレンジカメラシステムとすることも可能である。

図１において、前記リレーレンズ光学系１０が、前記撮像レンズ１によって結像された光学像６を再撮像する第１リレーレンズ７と、第１リレーレンズ７の射出光束を再結像する第２リレーレンズ９で構成する各リレーレンズの焦点距離値の組み合わせにより、撮像部Ｂ１１に結像する再結像像倍率を設定できるので、撮像部Ａ４のＣＣＤの対角線長に対し、撮像部Ｂ１１に対角線長が異なるＣＣＤを使用できる。

また、水平：垂直の比がＨ４：Ｖ３に対し、Ｈ１６：Ｖ９等アスペクト比の異なるＣＣＤを使用した撮像部Ｂ１１とする場合にも対応できる。

さらに、前記撮像部Ａ４、Ｂ１１が、該撮像部のそれぞれのＣＣＤの露光時間を個々に、又は同時に制御する露光時間制御手段を備えているので、撮像部Ａ４の露光時間を撮像部Ｂ１１の露光時間よりも短く（又は長く）して、一方のカメラ回路から高速で動く被写体像の瞬間静止画像を出力し、他のカメラ回路からは連続した動画像を出力することができる。

さらにまた、前記撮像レンズ１とリレーレンズ光学系１０の各絞り機構２、８を制御して、カメラ回路Ａ５から出力された明暗の階調を失った画像領域部分に対し、前記カメラ回路Ｂ１２から出力された明暗の階調を失った画像領域部分と同一領域部分の画像を抽出して合成し補正する方式に加えて、それぞれのＣＣＤの露光時間を制御してさらにダイナミックレンジを広げたり、被写体像の連続した瞬間静止画像を出力することもできる。

図３において、撮像部Ａ４及びカメラ回路Ａ５は実施例１と同様の単板撮像方式とし、実施例１の第２リレーレンズ９のバックフォーカス値を長くして撮像部Ｂ１１との間に３方向に分光できる３Ｐプリズム１５を配設し、実施例１の単板撮像方式の撮像部Ｂ１１に代えて３板カラー撮像方式とし、撮像部１１Ｂ（青）、撮像部１１Ｒ（赤）、撮像部１１Ｇ（緑）を備えたハイダイナミックレンジカメラシステム１４を構成している。

前記分光光学系３で反射された光束は撮像部Ａ４に結像される。撮像部Ａ４は、複数種の色フィルタが所定の順序で配列された単板カラー撮像方式のＣＣＤが内蔵され、電子シャッタ機能を持つＣＣＤ駆動部も備えていて、撮像部Ａ４で光電変換された信号はカメラ回路Ａ５によってガンマ補正、ニー補正等を行って所定の方式の映像信号に形成され、信号処理回路１３へ入力される。

一方、電子シャッタ機能を持つＣＣＤ駆動部も備えている前記撮像部１１Ｂ（青）、撮像部１１Ｒ（赤）、撮像部１１Ｇ（緑）の各ＣＣＤから光電変換された信号は、カメラ回路Ｂ１２によってガンマ補正、ニー補正等を行って所定の方式の映像信号に形成され、信号処理回路１３へ入力される。

信号処理回路１３では、カメラ回路Ａ５から出力された映像信号の前記撮像レンズ１の絞り機構２の制御による露光過多等で画像の明暗の階調を失った画像領域と、前記リレーレンズ光学系１０の絞り機構８で適正露光に制御された前記カメラ回路Ｂ１２から出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号を抽出し、カメラ回路Ａ５の出力信号の「白とび」状態の画像領域にはめ込み合成し補正している。
その他の構成及び作用は、実施例１と同様である。

図４において、被写体を撮像する絞り機構２を備えた撮像レンズ１と、該撮像レンズ１で撮像された光学像６を第１リレーレンズ７で再撮像し２つの第２リレーレンズＡ９、Ｂ９でそれぞれ再結像する絞り機構８を備えたリレーレンズ光学系１０と、該リレーレンズ光学系１０の絞り機構８の直前に配設され２系統に分光する半透明鏡３ＨＭと反射鏡３Ｍを備えた分光光学系３と、該分光光学系３の半透明鏡３ＨＭによって９０度の反射角で反射分光され、さらに９０度の反射角で全反射する反射鏡３Ｍによって反射された光路の前記第２リレーレンズ１０の内の一つの第２リレーレンズＡ９の結像位置に配設された撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系３の半透明鏡３ＨＭによって透過分光された光路のもう一つの第２リレーレンズＢ９の結像位置に配設された撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路１３とを備えてハイダイナミックレンジカメラシステム１４を構成している。

前記撮像レンズ１で撮像された光学像を第１リレーレンズ７で再撮像し、前記２つの第２リレーレンズＡ９、Ｂ９でそれぞれ再結像する絞り機構８を備えたリレーレンズ光学系１０が、第１リレーレンズ７と第２リレーレンズＢ９が光路中心上に直線的に配置され、さらに、分光光学系３の半透明鏡３ＨＭで直角に反射された光路をさらに反射鏡３Ｍで直角に反射し第２リレーレンズＡ９を第２リレーレンズＢ９と平行に配置することによって平行配置型光学系を形成している。該平行配置型光学系を使用することにより、高さ方向を押さえた構造の小型のカメラ装置を構築できる。
その他の構成及び作用は、実施例１と同様である。

上記実施例にとらわれることなく、前記撮像部Ａ４、Ｂ１１及びカメラ回路Ａ５、Ｂ１２が、高画素数のＣＣＤ及び標準画素数のＣＣＤのそれぞれ単板カラー撮像方式の組み合わせ、又は高画素数のＣＣＤによる単板カラー撮像方式と２乃至４方向に分光できる分光プリズムを使用した標準画素数のＣＣＤによる多板カラー撮像方式の組み合わせ、又はそれぞれ２乃至４方向に分光できる分光プリズムを使用した多板カラー撮像方式の組み合わせなど、コストに重点を置いた選択、高性能化に重点を置いた選択など種々の方式に対応できる。

極めて広いダイナミックレンジの画像が得られため、非常に大きなコントラスト比で照明された被写体を撮像する機会の多い放送、監視、計測、ＦＡ、画像処理等のハイダイナミックレンジカメラシステムを必要とする産業に利用できる。

本願発明の実施例１によるハイダイナミックレンジカメラシステムのブロック図。 同発明の実施例における信号処理を説明するための信号波形図。 同発明の実施例２によるハイダイナミックレンジカメラシステムのブロック図。 同発明の実施例３によるハイダイナミックレンジカメラシステムのブロック図。

符号の説明

１：撮像レンズ
２、８：絞り機構
３：分光光学系
３ＨＭ：半透明鏡
３Ｍ：反射鏡
Ａ４：撮像部
Ａ５：カメラ回路
６：光学像
７：第１リレーレンズ
９、Ａ９、Ｂ９：第２リレーレンズ
１０：リレーレンズ光学系
Ｂ１１、１１Ｂ，１１Ｒ、１１Ｇ：撮像部
Ｂ１２：カメラ回路
１３：信号処理回路
１４：ハイダイナミックレンジカメラシステム
１５：３Ｐプリズム
１６：出力端子

Claims (7)

1. 被写体を撮像する絞り機構を備えた撮像レンズと、該撮像レンズで撮像された光束を少なくとも２系統に分光する分光光学系と、該分光光学系によって分光されたいずれか１つの光路の結像位置に配設された撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系によって分光された他のいずれか１つの光路の結像位置に結像された光学像を第１リレーレンズで再撮像し第２リレーレンズで再結像する絞り機構を備えたリレーレンズ光学系と、該リレーレンズ光学系の再結像された結像位置に配設された撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備えて構成してなることを特徴とするハイダイナミックレンジカメラシステム。
2. 被写体を撮像する絞り機構を備えた撮像レンズと、該撮像レンズで撮像された光学像を第１リレーレンズで再撮像し、同第１リレーレンズの出射光学像を２系統に分光する分光光学系を介して前記第１リレーレンズの出射光学像をそれぞれ再結像する２つの第２リレーレンズＡ９、Ｂ９を備えたリレーレンズ光学系と、前記分光光学系と第２リレーレンズＡ９、Ｂ９のいずれか一つとの間に配設された絞り機構と、前記分光光学系によって反射（又は透過）分光された光路の前記第２リレーレンズＡ９の結像位置に配設された撮像部Ａ４及び撮像部Ａ４で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ａ５と、前記分光光学系によって透過（又は反射）分光された光路のもう一つの第２リレーレンズＢ９の結像位置に配設された撮像部Ｂ１１及び撮像部Ｂ１１で光電変換された信号を所定の方式の映像信号に形成するカメラ回路Ｂ１２と、前記カメラ回路Ａ５、Ｂ１２から入力された映像信号を合成して出力する信号処理回路とを備えて構成してなることを特徴とするハイダイナミックレンジカメラシステム。
3. 前記第１リレーレンズの出射光学像を２系統に分光する前記分光光学系に、
   該分光光学系によって９０度の反射角で反射分光された光学像をさらに９０度の反射角で全反射する反射鏡を備えたことを特徴とする請求項２に記載のハイダイナミックレンジカメラシステム。
4. 前記信号処理回路が、カメラ回路Ａ５又はＢ１２から出力された前記撮像レンズの絞り制御による露光過多で明暗の階調を失った画像領域の映像信号と、前記リレーレンズ光学系の絞り機構で適正露光に制御された光学像を撮像部Ｂ１１又はＡ４のいずれかで撮像しカメラ回路Ｂ１２又はＡ５のいずれかから出力された前記画像の明暗の階調を失った画像領域と同等の画像領域の映像信号とを合成し補正してなることを特徴とする請求項１〜３のいずれか１項に記載のハイダイナミックレンジカメラシステム。
5. 前記リレーレンズ光学系が、前記撮像レンズによって結像された光学像を再撮像する第１リレーレンズと、第１リレーレンズの射出光束を再結像する第２リレーレンズとで構成され、各リレーレンズの焦点距離値の組み合わせにより撮像部Ｂ１１又はＡ４のいずれかに結像する再結像倍率が設定されてなることを特徴とする請求項１〜４のいずれか１項に記載のハイダイナミックレンジカメラシステム。
6. 前記撮像部Ａ４、Ｂ１１が、該撮像部のそれぞれの固体撮像デバイスの露光時間を個々に、又は同時に制御する露光時間制御手段を備えてなることを特徴とする請求項１〜５のいずれか１項に記載のハイダイナミックレンジカメラシステム。
7. 前記撮像部Ａ４、Ｂ１１及びカメラ回路Ａ５、Ｂ１２が、それぞれ単板撮像方式の組み合わせ、又は単板撮像方式と２乃至４方向に分光できる分光プリズムを使用した多板撮像方式の組み合わせ、又はそれぞれ２乃至４方向に分光できる分光プリズムを使用した多板撮像方式の組み合わせで構成してなることを特徴とする請求項１〜６のいずれか１項に記載のハイダイナミックレンジカメラシステム。

Images