JP3943848B2

JP3943848B2 - Imaging device

Info

Publication number: JP3943848B2
Application number: JP2001054960A
Authority: JP
Inventors: 智文北澤; 明鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-02-28
Filing date: 2001-02-28
Publication date: 2007-07-11
Anticipated expiration: 2021-02-28
Also published as: JP2002262159A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の撮像手段がそれぞれ異なった撮影画角で撮像する撮像装置に関する。
【０００２】
【従来技術】
従来より、より高精細で静止画像または動画像を撮影するために種々の技術開発がなされてきた。例えば、特開平６−２９２０５２号公報には、画角を変えて複数回撮影し、広角で撮影した画像に、望遠で撮影した画像を嵌め込む技術が開示されている。
また、特開平１０−１７３９６６号公報には、ハーフミラーで分光し、被写体像を複数の撮像素子で画角を変えて撮影することにより、部分高解像を実現する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記特開平６−２９２０５２号記載の発明では、静止画にのみ対応しており、動いている被写体を撮影する場合などで不都合が生ずる。
また、特開平１０−１７３９６６号記載の発明では、ハーフミラーの分光比を可変にするなどしているが、それぞれの撮像部のボケ方の調整については関知しておらず、この点に対応していない。
ところで、分光手段により、入射光を分光し、複数の撮像部で画角を変えて撮影した複数の画像を合成し、一つの画像を作る場合に、分光比が一律に固定されると、画像合成に際して、不具合がある。また、ズームレンズによって焦点距離を変えて複数回撮影すると、焦点距離切り換えに時間がかかってしまう。
また、歪曲収差を考慮せずに、広角画像に望遠画像を嵌め込もうとすると、実際には境目のところでうまくつながらない。
さらに、主要な被写体が画面の中心にない場合は、主要被写体部分を高解像にすることができない。
また、広角画像の望遠画像が嵌め込まれる部分にも、光量が割り当てられるので、望遠側に割り当てられる光量が減ってしまう。
さらに、部分高解像撮影が必要では無く、撮影画面内に高輝度の被写体と低輝度の被写体が混在している場合に対応できない。
【０００４】
そこで、本発明の第１の目的は、一つの画像を作る場合に、分光比を一律に固定せず撮影条件に応じて、適当な分光比率が得られることで、部分的なそれぞれの撮像部での露光制御が適切に行える撮像装置を提供することである。
本発明の第２の目的は、２つの画像の合成を行う場合につなぎ目を自然なものにすることができる撮像装置を提供することである。
本発明の第３の目的は、主要被写体が画面の中心でないところにあったとしても、主要被写体を高解像に撮影できる撮像装置を提供することである。
本発明の第４の目的は、入射光量の無駄が減るので、撮影時間が短くなり、手振れによる撮影画像劣化を低減させることができる撮像装置を提供することである。
本発明の第５の目的は、部分高解像撮影をしないモードを選択すれば、ダイナミックレンジを拡大させた撮影を行うことができる撮像装置を提供することである。
本発明の第６目的は、部分高解像撮影をしなければ、画像全体に画素ずらし撮影と同等の画質向上を選択することができる撮像装置を提供することである。
【０００５】
【課題を解決するための手段】
請求項１記載の発明では、撮像光学系の光路中に配置され、透過率と反射率の分光比の特性を制御可能な単数または複数の分光手段と、前記分光手段で分けられた光を異なった撮影画角で結像する複数の撮像手段と、前記複数の各撮像手段の露光時間が等しくなるように前記分光手段の分光比を制御する制御手段と、を備えることを特徴とする。
【０００６】
請求項２記載の発明では、請求項１記載の発明において、撮像光学系毎に被写界深度を調整する独立の絞り手段と、各絞り手段毎に絞り値を決定する絞り調整手段と、を備えたことを特徴とする。
【０００７】
請求項３記載の発明では、請求項１または請求項２に記載の発明において、前記分光手段は、同一の分光手段の中で、部分的に独立で分光比を制御できることを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図１ないし図３９を参照して詳細に説明する。
図１は、本実施の形態に係る電子カメラの構成を示した図である。
撮影レンズ１０で撮像素子の撮像面に結像され、撮像素子の受光素子で光電変換され、光の情報を電気信号に変換する。光電変換されて得られた信号は、ＣＤＳ（相関二重サンプリング）回路２０で、ノイズを低減させてから、Ａ／Ｄ（アナログ／デジタル）変換回路でアナログ信号からデジタル信号に変換される。
【０００９】
デジタル信号に変換されたデータは、画像処理部２２で圧縮されるなどして記録部２４に記録される。操作部２６は、レリーズボタンやモード設定ボタンなど、表示部２８は液晶パネルなどである。レンズを駆動させるモータは、ピント合わせを例に描いているが、固定焦点のカメラでは必要が無く、ズーム機能を持つとすると、焦点距離を変えるためのモータが、別に必要となることがほとんどである。
ローパスフィルタは被写体の高周波成分（細かいピッチの縞など）での偽色の発生を防止する。赤外線カットフィルタは、赤外線による色情報の狂いを防止している。電子カメラでは、多くの場合撮像部を使って測光を行うので、図１では、測光手段に関して特に、図示していない。
【００１０】
図２に示すように被写体像を分光手段によって被写体像を分けて、複数の撮像部で撮影画角を変えて撮影し、図３、図４のように、画角の違う画像を撮影し、図５のように、広角画像の中に、望遠画像の大きさをあわせて埋め込む。広角画像の中の埋め込まれた望遠画像部分は、図７の概念図で示すように、画像データの密度が高くなり、他の部分（元の広角画像部分、線の外の部分）よりも高解像のデータを持つことになる。
【００１１】
撮影条件に応じて、撮像素子にそれぞれの撮像素子への入射光量が適切となるように、分光比可変の分光手段を調整する。分光比可変手段の一例を図３６に示してある。この図中のａからｅは分光フィルタであり、それぞれが透過光量と反射光量の比が異なっている。ターレット板を回転させて、分光位置に適当なフィルタを分光位置にもっていく。図ではターレット板を使った例を示しているが、スライドによってフィルタの切り替えを行ってもよい。
図１では、撮像部が２つ示されているが、分光手段を二つ以上用いることによって、撮像部を三つ以上にして、図８のように、三段階以上の解像データを持つようにすることもできる。
【００１２】
次に、第２の実施例を説明する。まず、機械的分光比可変手段の代わりに電気的な制御で、分光比を切り替えられるエレクトロクロミックミラーを用いる。エレクトロクロミックミラーは電気的な制御により、透過率や反射率を制御するもので、機械的な駆動を必要としない。防眩ミラーや、調光ガラスなどの利用が可能である。
ここで、エレクトロクロミックミラーの具体的な構造を説明する。
まず、電圧を印加すると可逆的に電解酸化または還元反応が起こり、可逆的に着消色する現象をエレクトロクロミズムという。このような現象を示すＥＣ物質を用いて、電圧操作により着消色するＥＣ素子（以下、ＥＣＤと略す場合がある）を作り、このＥＣＤを光量制御素子（例えば調光ガラスや防眩ミラー等）や７セグメントを利用した数字表示素子に利用しようとする試みは、２０年以上前から行われている。例えば、ガラス基板の上に透明電極層（陰極）、三酸化タングステン薄膜層、二酸化ケイ素のような絶縁層、電極層（陽極）を順次積層してなるＥＣＤ（特公昭５２−４６０９８号公報参照）が全固体型ＥＣＤとして知られている。
【００１３】
このＥＣＤに電圧（着色電圧）を印加すると、三酸化タングステン（ＷＯ３）薄膜層が青色に着色する。その後、このＥＣＤに逆の電圧（消色電圧）を印加するとＷＯ３薄膜層の青色が消えて、無色になる。この着消色する機構は詳しくは解明されていないが、ＷＯ３薄膜層及び絶縁層（イオン導電層）中に含まれる少量の水分がＷＯ３の着消色を支配していると理解されている。
着色の反応式は、以下のように推定されている。
Ｈ２Ｏ → Ｈ＋＋ＯＨ−
ＷＯ３層（陰極側）：ＷＯ３（無色透明）＋ｎ・Ｈ＋＋ｎｅ− → ＨｎＷＯ３（青着色）
絶縁層（陽極側）：ＯＨ− → （１／２）Ｈ２Ｏ＋（１／４）Ｏ２↑＋（１／２）ｅ−
【００１４】
その他にＥＣＤとして知られているものは、素子基板上の一対の電極層の間に還元着色性ＥＣ層（例えばＷＯ３）、イオン導電層、可逆的電解酸化層（例えば酸化または水酸化イリジウム）が積層され、両電極層間に所定の電圧を印加できる構造となっている。
ところで、ＥＣ層を直接または間接的に挟む一対の電極層は、ＥＣ層の着消色を外部に見せるために少なくとも一方は透明でなければならない。特に透過型のＥＣＤの場合には両電極層とも透明でなければならない。
透明な電極層材料としては、現在のところ、ＳｎＯ２、Ｉｎ２Ｏ３、ＩＴＯ（Ｉｎ２Ｏ３とＳｎＯ２の混合物）、ＺｎＯ等が知られているが、これらの材料は比較的透明度が悪いために薄くせねばならず、この理由及びその他の理由からＥＣＤは基板（例えばガラス板やプラスチック板）の上に形成されるのが普通である。
【００１５】
一対の電極層には、外部電源から電圧を印加するために、外部配線との接続部である取り出し電極を設ける。電極層として透明電極層を使用した場合には、透明電極層が外部配線に比べて高抵抗であるので、透明電極層に重ねて（即ち、接触させて）低抵抗の取り出し電極を設けることが多い。通常は、基板表面端部に位置する透明電極層の周辺に帯状に低抵抗電極部を設けて（例えば、金属製クリップを装着する）、低抵抗の取り出し電極としている。
また、ＥＣＤは用途によって、素子を保護するための封止基板を素子基板と対向するように配置し、例えばエポキシ樹脂等を用いて密封封止して用いられる。
【００１６】
本実施例にかかるＥＣＤの積層構造は、特にどれと限定されるものではないが、固体型ＥＣＤの構造としては、例えば、電極層／ＥＣ層／イオン導電層／電極層のような４層構造、電極層／還元着色型ＥＣ層／イオン導電層／可逆的電解酸化層／電極層のような５層構造があげられる。
還元着色型ＥＣ層には、一般に、ＷＯ３、ＭｏＯ３等が使用される。イオン導電層には、例えば酸化ケイ素、酸化タンタル、酸化チタン、酸化アルミニウム、酸化ニオブ、酸化ジルコニウム、酸化ハフニウム、酸化ランタン、フッ化マグネシウム等が使用される。
イオン導電層は、電子に対して絶縁体であるが、プロトン（Ｈ＋）及びヒドロキシイオン（ＯＨ−）に対しては良導体となる。ＥＣ層の着消色反応にはカチオンが必要とされ、Ｈ＋やＬｉ＋をＥＣ層その他に含有させる必要がある。Ｈ＋は初めからイオンである必要はなく、電圧が印加された時にＨ＋が生じればよく、従ってＨ＋の代わりに水を含有させてもよい。この水は、非常に少なくて十分であり、しばしば大気中から自然に侵入する水分でも着消色する。
【００１７】
ＥＣ層とイオン導電層とは、どちらを上にしても下にしてもよい。更にＥＣ層に対して間にイオン導電層を挟んで（場合により酸化着色性ＥＣ層ともなる）可逆的電解酸化層ないし触媒層を配設してもよい。
このような層としては、例えば、酸化ないし水酸化イリジウム、同じくニッケル、同じくクロム、同じくバナジウム、同じくルテニウム、同じくロジウム等があげられる。これらの物質は、イオン導電層または透明電極層中に分散されていてもよいし、逆にそれらを分散していてもよい。
【００１８】
カメラ内では、電気的制御によって、入射光の透過率と反射率の制御を行う。撮影条件や、撮影モードに応じて、絞りとエレクトロクロミックミラーをそれぞれ制御して、複数の撮像部が適正な露光条件となるように調整する。機械的な駆動手段を必要としないので、スペース効率がよい。
後述するに、絞りやシャッタスピードによってそれぞれの撮像部への入射光量を調整する。
【００１９】
次に、第３の実施例を説明する。この実施例は、分光手段によって透過または反射した光が、分光手段によって着色される場合は、画像処理によって、色補正を行うようにする。以下、具体例を説明する。
第２の実施例における、エレクトロクロミック層を通過した光は、材料の色によって着色されるものがある。例えば、三酸化タングステンの場合、青が画面全体に着色される。そこで、エレクトロクロミックミラーによって着色した部分を、デジタル処理によって取り除けばよい。
例えば、三酸化タングステンの場合、青が画面全体に着色されるので、撮像素子で受講した、光の青成分を減ずるように処理する。その際は、エレクトロクロミックミラーのムラや撮像光学系の光量ムラを考慮するようにすれば、より効果的である。
また、この実施例によれば、反射光や透過光に素子の色が着いてしまうものがあったとしても、分光手段として使用可能である。
【００２０】
第４の実施例を説明する。この実施例では、それぞれの撮像光学系ごとに独立の絞り手段を設け、それぞれの撮像光学系ごとに絞り値を決定するようにする。
絞り値決定焦点距離が違っていると、それに応じて被写界深度が変化する（広角側は被写界深度が深く、望遠側は被写界深度が浅い）ので、それを考慮せずに画像を嵌め込むとつなぎ目付近が不自然になってしまう。
そこで、望遠画像の周辺付近と、広角画像の嵌め込み境目付近のボケ具合が略同等とするために、露光条件に調整しなくてはならない。例えば図３の周辺付近と、図６の破線付近のボケ具合がほぼ等しくなるようにする。
そのため、それぞれの撮像光学系の被写界深度を調整するために、それぞれの撮像光学系ごとに絞り調整手段を設け、絞り調整手段によって広角画像と望遠画像の合わせ目付近のボケ具合がほぼ等しくなるように、しぼりを調整する。
この実施例によれば、２つの画像の合わせ目が不自然にならないようにすることができる。
【００２１】
第５の実施例を説明する。この実施例では、それぞれの撮像部の露光時間が等しくなるように、分光手段の分光比を決定する。
一般に広角レンズで撮影する場合より望遠レンズで撮影する場合のほうが、レンズが暗くなる。その上、第４の実施例で示したように、合わせ目付近のボケ具合を同等とするためには、望遠側の絞りを広角側の絞りよりも、狭める必要がある。そのため、それぞれの撮像部で、露光時間が等しくなるようにするためには、望遠側により多くの光量を割り振る必要がある。エレクトロクロミックミラーで分光比を調整する（望遠側により光量を多く割り振るように）ことによって、同じ露光時間になるようにする。
また、それぞれの撮像素子が違うものであったとしても、それぞれの露光時間が等しくなるような分光比となるように分光しなくてはならない。
この実施例によれば、動いているものを撮影する場合でも不具合が生じることがない。
【００２２】
第６の実施例を説明する。この実施例では、複数のデータの歪曲収差による画像の歪みを検出し、少なくとも一方の画像を変換して広角側の画像データに望遠側の画像データ埋め込みを行う。
焦点距離の違いによって歪曲収差の出方が異なる。図９のように望遠は鼓型になり易く、図１０のように広角は太鼓型になる傾向がある。そのため、そのままで、広角画像の望遠画像を嵌め込もうとすると、図１１に示すようにつなぎ目部分が不自然になってしまう。
そこで、広角画像と望遠画像の歪みを検出し、補正する必要がある。図３７に示すような望遠画像と広角画像の、共通部分（ハッチング部分に関して）に関して、図３８に示すように、望遠画像内で望遠画像と広角画像のそれぞれ対応点を検出し（図中のＴが望遠画像、ｗが広角画像、添え字が同じ数ならば、対応している。）それぞれ点との画像の中心からの距離の差（たとえば｜Ｗ１−Ｏ｜−｜Ｔ１−Ｏ｜）を求める。
そして、望遠画像の中心からの距離と、望遠と広角の対応点の中心からの距離差を複数点求めて、回帰計算を行えば、絶対的な値は求まらないものの、一方の画像を基準とした場合の相対的なディストーション曲線を求めることができる。
広角画像の対応点と中心からの距離の差を横軸に、それぞれの対応点と画像中央との距離の差を縦軸にプロットしたものが図３９の◆で、グラフ中の曲線が回帰計算によって求めた望遠画像を基準とした場合の相対的なディストーション曲線である。
【００２３】
図１３に示すように、一方の画像の歪曲収差を他方の歪曲収差に合わせこむことができるので、つなぎ目部の不自然さは解消できる。絶対的な歪み量は、わからないが、基準を決めて（広角画像か、望遠画像のどちらかを、収差のない画像とみなして）歪曲収差補正する。ディストーション曲線が分かっている画像の歪曲収差補正方法としては、特開平１１−２５０２３８号公報、特開平１１−２５０２３９号公報、特開平１１−２５０２４０号公報、特開平６−２９２２０７号公報など多くの方法が開示されている。
また一つの画像のみを変換するのではなく、それぞれの対応位置での中心からの距離のずれ量が分かっているので、両方の画像を変換して、合わせこんでもよい。どちらの方法を採るかは、撮影レンズの特性による。
【００２４】
第７の実施例を説明する。この実施例では、レンズの焦点距離を検出して、歪曲収差の補正は、この検出した結果を基に行う。
歪曲収差の検出は、焦点距離と焦点距離ごとのディストーション線図を突き合わせれば、画像の解析による方法に比べて容易に行える。カメラ内のＲＯＭ（リード・オンリ・メモリ）にディストーション線図のデータを書きこんでおき、実際に撮影された時の焦点距離から、収差量を求める。また、カメラの（メカニカルな）組み立てが終わった後に、焦点距離を振って得、格子模様などを実際に撮影して、焦点距離ごとの収差量を求めてから、焦点距離と収差量の関係を内部のＲＯＭのデータを書きこむようにすれば、個体ごとのばらつきをなくすことができるので、歪曲収差の補正精度をさらに向上させることができる。
それぞれの画像の歪曲収差を補正し、画像を合成する。第６の実施例と異なり、絶対的な歪み量が求められるので、図１２のように画像の歪みを補正することが可能となる。
【００２５】
焦点距離の検出は、鏡胴に抵抗板を配置し、焦点距離変化に伴う抵抗値の変化を検出するエンコーダによってギヤやモータの回転量を検出する方法、ステッピングモータのステップ数を検出する方法などによって、鏡胴の繰り出し量や、レンズの位置から求められる。
歪み補正の方法としては、特開平１１−２５０２３８号公報、特開平１１−２５０２３９号公報、特開平１１−２５０２４０号公報、特開平６−２９２２０７号公報などなど多くの方法が開示されている。
この実施例によれば、焦点距離を検出することによって、第６の実施例と比べて歪曲収差を容易に求めることができる。
【００２６】
第８の実施例を説明する。この実施例では、何が主要な被写体かを設定して、主要被写体像の位置に、撮影画角の狭い方の画像を撮像する撮像素子の中心がくるように撮像素子を移動させるか、または入射光を移動させる。
図１４に示すように主要被写体が、中央から外れていた場合には、主要被写体のところを高解像に撮影できず、部分高解像撮影の利点を生かせない。そこで、主要被写体設定手段を設け、撮影画面内の主要被写***置を設定できるようにし、その部分を高解像で撮影できるようにする。
主要被写***置設定手段は、視線検出による方法や、タッチパネル式の液晶ディスプレイ、ジョイスティックなどでの、画面内のカーソル移動などの方法が考えられる。
また、主要被写体を高解像で撮影するために、望遠画像を撮影する側の撮像部を光軸との垂直を保ったまま位置を移動できるようにする、あるいは、入射する被写体像の位置をずらすための可変頂角プリズムを光路中に配置するなどして、撮像面の中央に設定された主要被写体像がくるように被写体像、または撮像部を移動させ撮影を行う。
撮影画面の中央から外れた所に主要被写体があったとしても、図１５のように主要被写体部分を高解像に撮影することができる。
【００２７】
第９の実施例を説明する。この実施例では、それぞれ撮像部の撮影画角を独立に設定する。
まず、広角画像と望遠画像の焦点距離比率を切り換えできるようにしておく。そして、広角撮影側の光学系で、撮影画角を決めた後に、望遠側の光学系を操作して、高解像で撮影する範囲を決める。
その後で、望遠撮影を行う側の撮像光学系の焦点距離を決定する。もし、望遠側の撮影光学系の焦点距離が短ければ、高解像になっている範囲は広いものの、解像の向上の度合いは少ない。また焦点距離を長くすれば、狭い範囲ではあるが、その範囲の解像を著しくあげることができる。
これにより、図１６のように、広い範囲について解像を少しあげるか、図１７のように、狭い範囲で解像を著しく上げるか、または図１８のようにそれらの中間といったように、使用者が選択できる。
この実施例によれば、高解像で撮りたい範囲をユーザーが決定することができる。
【００２８】
第１０の実施例を説明する。この実施例は、複数撮像画像のうち、もっとも画角の広いの画像を表示し、より狭い撮像画角の撮像範囲を表示する。
まず、広角画像の中に望遠画像の範囲を表示する表示手段を設け、広角画像部分と、望遠画像部分の境目を図１９のように表示する。そして、ファインダの場合は、ファインダ光学系に、透過液晶モジュールを組み込み、望遠撮影範囲を表示する。
液晶ディスプレイがファインダ手段であるときは、映し出された画面の中に埋め込まれた場合の画像と画像の境界線を表示する。第８の実施例のように高解像撮影部分を画面中央以外に設定できる場合には、枠を移動させて主要被写体を設定させるようにしてもよい。
この実施例によれば、高解像で撮影される範囲が容易に確認することができる。
【００２９】
第１１の実施例を説明する。この実施例は、分光手段は、同一の分光手段の中で、部分的に独立で分光比を制御できるようにする。
図２０に示すように、部分的に制御できるようにエレクトロクロミック薄膜を分けて形成する。そして、図２１に示すように、分光手段の反射側で広角像を撮影し、透過側で望遠像を撮影する場合を例に説明する。なお、透過側が広角撮影で、反射側が望遠撮影である場合でも不都合はない。
分光手段の中央付近（ハッチング部分）は、望遠画像を撮影する側により多くの光量を割り振るようにするために、その他の部分（周辺部）に比べ透過率が上がるようにする。このようにすれば望遠画像の露光時間が短くなり、手振れの影響を受けづらくなる。広角画像側の中央付近は露光不足気味になるが、その部分には望遠画像が嵌め込まれるので問題はない。
また、図２２のように、エレクトロクロミック層をさら複数の位置で透過率や反射率を切り分けるようなパターンで、光量制御できるようにしておけば、第９の実施例の場合にも対応できる。図２３に示すようにエレクトロクロミック層を分けておき、図２４に示すように、主要被写体の位置に応じて、反射率や透過率を切り替えるようにしておけば、第８の実施例の場合にも対応することができる。
【００３０】
第１２の実施例を説明する。この実施例は、複数の撮像手段の画角を同じにし、分光手段により、それぞれの撮像手段への入射光量を違えて撮影を行う撮影モードを選択できるようにする。
複数の撮像部を同じ画角にして、露光条件を変えて撮影し、その画像を合成することにより、撮影画面ないの高輝度部分の白とびや低輝度部分の黒つぶれのない画像を得られるようにする。図２５は、高輝度部Ａと低輝度部Ｂとを同時に撮影した例を示した図である。
露光過多であると、図２６に示すように、光電変化された電荷が蓄積できなくなるために白とびとなる。一方、露光不足であると、図２７に示すように、光電変換された電荷が少ないために、撮像信号がノイズ成分に埋没するために黒つぶれになってしまう。
そこで、部分高解像撮影の必要がなく、一つの撮影画面内に高輝度の被写体と低輝度の被写体が混在するときには、同じ画角で露光量を変えて撮影できるようにする。その時、しぼりの大きさが変わると、それぞれの画像でボケ方が変わってしまうので、しぼりは同じにしておく。また、それぞれの撮像部で、露光時間が変わると、前述の通り被写体に動きがある場合に不具合が生じる。そこで、分光手段の調整によりそれぞれの露光量を制御する。その結果、図２８に示すような白とび、黒つぶれがない状態の画像を得ることができる。
【００３１】
第１３の実施例を説明する。この実施例は、複数の撮像手段の焦点距離を同じにして、複数の撮像手段への入射位置を相対的にずらして撮影する撮影モードを選択できるようにする。
それぞれの撮像部への、被写体像の入射位置を相対的にずらすことにより、画素ずらし法による撮影と同じ効果のある撮影を行えるようにする。撮像素子は、図２９に示すような色フィルタを取り付けることにより、色を検出するので、撮像素子のそれぞれの受光素子は、特定の色の成分しかとることができない。そこで、それぞれの撮像面での受光素子の対応する位置が、入射光に対しての受光素子の対応位置が所定量、所定方向ずれた位置に配置させ、色情報の欠落を補うようにすることにより画質が改善される。
撮像素子のずらし方は、原色フィルタ場合、緑色のフィルタがどの画素でも埋め尽くすように、図３０に示すように、垂直方向あるいは水平方向に１画素分ずらす方法と、図３１に示すように、斜め方向に半画素分ずらす方法（サンプリングを高密度化させる）などが知られている。
【００３２】
第１４の実施例について説明する。この実施例では、入射位置移動手段は、第６の実施例での、主要被写体が望遠側の撮像部の撮像中心にくるようにずらす機構と兼ねているようにする。
入射光移動手段は、第６の実施例と同様に、可変頂角プリズムや光路移動レンズのように光路を変える方法や、撮像素子そのものを移動させる方法などがあり、どの方法を採用してもよい。
この実施例によれば、第６の実施例と第１２の実施例の機能を達成するために、別の光路切り換え手段を持つ必要がない。
【００３３】
第１５の実施例を説明する。この実施例では、それぞれの撮像部を同じ画角にし、合焦点位置を変えて撮影する撮影モードを選択できるようにする。
図３２に示すように、カメラからの距離が違う複数の被写体（図３２中では、人と建物）が一つの画面にあると、実際に撮影した場合に、図３３や図３４に示すように、一方の被写体にピントが合うともう一方の被写体にピントが合わなくなる。
そこで、部分高解像撮影が必要でないときに、複数の撮像部で、合焦点位置をずらして撮影し、図３５のように合成する撮影モードを設ける。カメラからの距離の遠い被写体と近い被写体で、輝度に大きな差がある場合は、分光手段を調整し、それぞれの撮像部に導く光量を撮影してもよい。
この実施例によれば、広い範囲にピントが合った画像を撮影できる。
【００３４】
請求項１記載の発明では、動いているものを撮影する場合でも不具合が生じることがない。
請求項２記載の発明では、２つの画像（広角画像と望遠画像）の合わせ目が不自然にならないようにすることができる。
【００３５】
請求項３記載の発明では、入射光量の無駄が減るので、撮影時間が短くなり、手振れによる撮影画像劣化を低減させることができる。
【図面の簡単な説明】
【図１】本実施の形態に係る電子カメラの構成を示した図である
【図２】被写体像を分光手段によって被写体像を分けて、複数の撮像部で撮影画角を変えて撮影するところを示した図である。
【図３】画角の違う画像を撮影した例を示した図である。
【図４】画角の違う画像を撮影した例を示した図である。
【図５】広角画像の中に、望遠画像の大きさをあわせて埋め込んだ例を示した図である。
【図６】破線付近のボケ具合を図３との対比で説明する図である。
【図７】画像データの密度が高くなり、他の部分よりも高解像のデータを持つことになることを示す概念図である。
【図８】三段階以上の解像データを持つようにした場合の状態を示した概念図である。
【図９】望遠が鼓型の画像になり易いことを説明する概念図である。
【図１０】広角が太鼓型になる傾向があることを説明する概念図である。
【図１１】広角画像の望遠画像を嵌め込もうとするとつなぎ目部分が不自然になってしまう例を示した図である。
【図１２】画像の歪みを補正した例を示した図である。
【図１３】一方の画像の歪曲収差を他方の歪曲収差に合わせこむことにより、つなぎ目部の不自然さを解消した例を示した図である。
【図１４】主要被写体が、中央から外れている場合を説明する図である。
【図１５】主要被写体部分を高解像に撮影した例を示した図である。
【図１６】広い範囲について解像を少しあげた例を説明する図である。
【図１７】狭い範囲で解像を著しく上げた例を説明する図である。
【図１８】図１６と図１７の中間を選択した場合を説明する図である。
【図１９】広角画像部分と望遠画像部分の境目を説明する図である。
【図２０】部分的に制御できるようにエレクトロクロミック薄膜を分けて形成した例を示した図である。
【図２１】分光手段の反射側で広角像を撮影し、透過側で望遠像を撮影する場合を例示した図である。
【図２２】エレクトロクロミック層をさらに複数の位置で透過率や反射率を切り分けるようなパターンで、光量制御できるようにした例を示した図である。
【図２３】エレクトロクロミック層を分けて配置した例を示した図である。
【図２４】主要被写体の位置に応じて、反射率や透過率を切り替えるようにした例を示した図である。
【図２５】高輝度部Ａと低輝度部Ｂとを同時に撮影した例を示した図である。
【図２６】露光過多により、光電変化された電荷が蓄積できなくなるために白とびが発生した例を示した図である。
【図２７】露光不足により、光電変換された電荷が少ないために、撮像信号がノイズ成分に埋没するために黒つぶれになってしまった例を示した図である。
【図２８】白とび、黒つぶれがない状態の画像を示した図である。
【図２９】色フィルタの例を示した図である。
【図３０】垂直方向あるいは水平方向に１画素分ずらす方法を説明する図である。
【図３１】斜め方向に半画素分ずらす方法を説明する図である。
【図３２】カメラからの距離が違う複数の被写体が一つの画面にある例を示した図である。
【図３３】一方の被写体（人物）にピントが合うともう一方の被写体にピントが合わなくなる例を示した図である。
【図３４】一方の被写体（建物）にピントが合うともう一方の被写体にピントが合わなくなる例を示した図である。
【図３５】図３４と図３５のピントの合っている箇所を合成した例を示した図である。
【図３６】分光比可変手段の一例を示した図である。
【図３７】望遠画像と広角画像の、共通部分を説明する図である。
【図３８】望遠画像内で望遠画像と広角画像のそれぞれ対応点を検出し、それぞれ点との画像の中心からの距離の差を求める方法を説明する図である。
【図３９】広角画像の対応点と中心からの距離の差を横軸に、それぞれの対応点と画像中央との距離の差を縦軸にプロットした図である。
【符号の説明】
１０撮影レンズ
２２画像処理部
２４記録部
２６操作部
２８表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup apparatus in which a plurality of image pickup means pick up images at different shooting angles of view.
[0002]
[Prior art]
Conventionally, various techniques have been developed to capture still images or moving images with higher definition. For example, Japanese Patent Laid-Open No. 6-292052 discloses a technique in which an image captured at a telephoto angle is inserted into an image captured at a wide angle by shooting multiple times at different angles of view.
Japanese Patent Application Laid-Open No. 10-173966 discloses a technique for realizing partial high resolution by spectrally dividing with a half mirror and photographing a subject image with a plurality of image sensors at different angles of view.
[0003]
[Problems to be solved by the invention]
However, the invention described in Japanese Patent Laid-Open No. 6-292052 supports only a still image, and inconvenience occurs when shooting a moving subject.
Further, in the invention described in Japanese Patent Laid-Open No. 10-173966, the spectral ratio of the half mirror is made variable. However, the adjustment of the blurring method of each imaging unit is not known, and this point is addressed. Not.
By the way, when the incident light is split by the spectroscopic means and a plurality of images taken by changing the angle of view by a plurality of imaging units are combined to form one image, if the spectral ratio is fixed uniformly, the image There is a problem in synthesis. In addition, if the zoom lens is used to change the focal length and shoot multiple times, it takes time to switch the focal length.
In addition, if a telephoto image is inserted into a wide-angle image without taking distortion into consideration, in practice, it will not work well at the boundary.
Further, when the main subject is not at the center of the screen, the main subject portion cannot be made high resolution.
Further, since the light amount is also assigned to the portion where the telephoto image of the wide-angle image is fitted, the light amount assigned to the telephoto side is reduced.
Furthermore, partial high-resolution imaging is not necessary, and it is not possible to cope with a case where a high-luminance subject and a low-luminance subject are mixed in the imaging screen.
[0004]
Therefore, the first object of the present invention is to obtain an appropriate spectral ratio according to the photographing conditions without fixing the spectral ratio uniformly when creating one image, so that each partial imaging unit It is an object of the present invention to provide an imaging apparatus capable of appropriately performing exposure control in
A second object of the present invention is to provide an imaging apparatus that can make a joint natural when two images are combined.
A third object of the present invention is to provide an imaging apparatus capable of photographing a main subject with high resolution even when the main subject is not at the center of the screen.
A fourth object of the present invention is to provide an imaging apparatus that can reduce the amount of incident light, shorten the imaging time, and reduce degradation of the captured image due to camera shake.
A fifth object of the present invention is to provide an imaging apparatus capable of performing imaging with an expanded dynamic range by selecting a mode in which partial high-resolution imaging is not performed.
A sixth object of the present invention is to provide an imaging apparatus capable of selecting image quality improvement equivalent to pixel-shifted imaging for the entire image unless partial high-resolution imaging is performed.
[0005]
[Means for Solving the Problems]
  In the first aspect of the present invention, it is disposed in the optical path of the imaging optical system, and the transmittance and the reflectance areSpectral ratioOne or more spectroscopic means capable of controlling the characteristics ofSaidWith spectroscopic meansImaging the divided light at different shooting anglesMultiple imaging meansAnd control means for controlling the spectral ratio of the spectroscopic means so that the exposure times of the plurality of imaging means are equal to each other,It is characterized by providing.
[0006]
  In invention of Claim 2,The invention according to claim 1 is characterized by comprising independent diaphragm means for adjusting the depth of field for each imaging optical system, and diaphragm adjustment means for determining a diaphragm value for each diaphragm means.
[0007]
  Claim3In the described invention, claim 1 is provided.Or claim 2In the invention described in (1), the spectroscopic means is capable of controlling the spectroscopic ratio partially independently within the same spectroscopic means.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to FIGS.
FIG. 1 is a diagram showing a configuration of an electronic camera according to the present embodiment.
The imaging lens 10 forms an image on the imaging surface of the imaging device, photoelectrically converts the light receiving device of the imaging device, and converts light information into an electrical signal. A signal obtained by photoelectric conversion is reduced in noise by a CDS (correlated double sampling) circuit 20 and then converted from an analog signal to a digital signal by an A / D (analog / digital) conversion circuit.
[0009]
The data converted into the digital signal is recorded in the recording unit 24 by being compressed by the image processing unit 22 or the like. The operation unit 26 is a release button or a mode setting button, and the display unit 28 is a liquid crystal panel or the like. The motor that drives the lens is shown as an example of focusing, but it is not necessary for a fixed-focus camera, and if it has a zoom function, a motor to change the focal length is often required separately. is there.
The low-pass filter prevents the generation of false colors due to high-frequency components (such as fine pitch stripes) of the subject. The infrared cut filter prevents color information from being distorted by infrared rays. In an electronic camera, photometry is often performed using an imaging unit, and therefore, the photometric means is not particularly shown in FIG.
[0010]
As shown in FIG. 2, the subject image is divided by the spectroscopic means, and is shot with a plurality of imaging units with different shooting angles, and images with different angles of view are taken as shown in FIGS. As shown in FIG. 5, the size of the telephoto image is embedded in the wide-angle image. As shown in the conceptual diagram of FIG. 7, the embedded telephoto image portion in the wide-angle image has a higher density of image data and is higher than the other portions (the original wide-angle image portion, the portion outside the line). Have resolution data.
[0011]
Depending on the imaging conditions, the spectral means with variable spectral ratio is adjusted so that the amount of incident light on each image sensor is appropriate for the image sensor. An example of the spectral ratio variable means is shown in FIG. In this figure, a to e are spectral filters, each of which has a different ratio of transmitted light amount and reflected light amount. The turret plate is rotated to bring the appropriate filter to the spectral position. Although the figure shows an example using a turret plate, the filter may be switched by sliding.
In FIG. 1, two imaging units are shown. However, by using two or more spectroscopic means, three or more imaging units are provided so that three or more stages of resolution data are provided as shown in FIG. It can also be.
[0012]
Next, a second embodiment will be described. First, an electrochromic mirror whose spectral ratio can be switched by electrical control is used instead of the mechanical spectral ratio variable means. The electrochromic mirror controls the transmittance and reflectance by electrical control and does not require mechanical driving. Anti-glare mirrors and light control glass can be used.
Here, a specific structure of the electrochromic mirror will be described.
First, a phenomenon in which electrolytic oxidation or reduction reaction occurs reversibly when a voltage is applied and reversibly fades is called electrochromism. Using an EC substance exhibiting such a phenomenon, an EC element (hereinafter sometimes abbreviated as ECD) that fades by voltage operation is produced, and this ECD is used as a light quantity control element (for example, light control glass, anti-glare mirror, etc.) ) And 7-segment numerical display elements have been attempted for more than 20 years. For example, an ECD in which a transparent electrode layer (cathode), a tungsten trioxide thin film layer, an insulating layer such as silicon dioxide, and an electrode layer (anode) are sequentially laminated on a glass substrate (see Japanese Patent Publication No. 52-46098) Is known as all-solid-state ECD.
[0013]
When a voltage (coloring voltage) is applied to the ECD, the tungsten trioxide (WO3) thin film layer is colored blue. Thereafter, when a reverse voltage (erasing voltage) is applied to the ECD, the blue color of the WO3 thin film layer disappears and becomes colorless. Although the mechanism of this color fading has not been elucidated in detail, it is understood that a small amount of water contained in the WO3 thin film layer and the insulating layer (ionic conductive layer) controls the color fading of WO3.
The coloring reaction equation is estimated as follows.
H2O → H + + OH-
WO3 layer (cathode side): WO3 (colorless and transparent) + n · H + + ne− → HnWO3 (blue coloring)
Insulating layer (anode side): OH− → (1/2) H 2 O + (1/4) O 2 ↑ + (1/2) e−
[0014]
In addition, what is known as ECD is a reduction coloring EC layer (for example, WO3), an ion conductive layer, and a reversible electrolytic oxidation layer (for example, oxidation or iridium hydroxide) between a pair of electrode layers on an element substrate. It is laminated so that a predetermined voltage can be applied between both electrode layers.
Incidentally, at least one of the pair of electrode layers sandwiching the EC layer directly or indirectly needs to be transparent in order to show the fading / discoloration of the EC layer to the outside. In particular, in the case of transmissive ECD, both electrode layers must be transparent.
Currently, SnO2, In2O3, ITO (a mixture of In2O3 and SnO2), ZnO, and the like are known as transparent electrode layer materials, but these materials must be thin because of their relatively poor transparency. For this reason and other reasons, the ECD is usually formed on a substrate (for example, a glass plate or a plastic plate).
[0015]
A pair of electrode layers is provided with an extraction electrode which is a connection portion with an external wiring in order to apply a voltage from an external power source. When a transparent electrode layer is used as the electrode layer, the transparent electrode layer has a higher resistance than that of the external wiring. Many. Usually, a low-resistance electrode portion is provided in a band shape around the transparent electrode layer located at the end portion of the substrate surface (for example, a metal clip is attached) to form a low-resistance extraction electrode.
Further, the ECD is used by arranging a sealing substrate for protecting an element so as to face the element substrate depending on the application, and sealingly sealing it with an epoxy resin, for example.
[0016]
The stacked structure of the ECD according to the present embodiment is not particularly limited, but the structure of the solid ECD is, for example, a four-layer structure such as electrode layer / EC layer / ion conductive layer / electrode layer. And a five-layer structure such as electrode layer / reduction colored EC layer / ion conductive layer / reversible electrolytic oxidation layer / electrode layer.
In general, WO3, MoO3 or the like is used for the reduction coloring EC layer. For the ion conductive layer, for example, silicon oxide, tantalum oxide, titanium oxide, aluminum oxide, niobium oxide, zirconium oxide, hafnium oxide, lanthanum oxide, magnesium fluoride, or the like is used.
The ion conductive layer is an insulator for electrons but is a good conductor for protons (H +) and hydroxy ions (OH−). Cation is required for the color-decoloration reaction of the EC layer, and it is necessary to contain H + and Li + in the EC layer and the like. H + does not need to be an ion from the beginning, and it is sufficient if H + is generated when a voltage is applied. Therefore, water may be included instead of H +. This water is very small and sufficient, and often discolors even with moisture that naturally penetrates from the atmosphere.
[0017]
Either the EC layer or the ion conductive layer may be on the top or bottom. Further, a reversible electrolytic oxidation layer or catalyst layer may be disposed with an ion conductive layer sandwiched between the EC layers (which may be an oxidation coloring EC layer in some cases).
Examples of such a layer include oxide or iridium hydroxide, nickel, chromium, vanadium, ruthenium, rhodium, and the like. These substances may be dispersed in the ion conductive layer or the transparent electrode layer, or conversely, they may be dispersed.
[0018]
In the camera, the transmittance and reflectance of incident light are controlled by electrical control. The diaphragm and the electrochromic mirror are controlled according to the shooting conditions and the shooting mode, respectively, so that the plurality of image pickup units are adjusted to have appropriate exposure conditions. Since no mechanical driving means is required, space efficiency is good.
As will be described later, the amount of light incident on each imaging unit is adjusted by the diaphragm and shutter speed.
[0019]
Next, a third embodiment will be described. In this embodiment, when light transmitted or reflected by the spectroscopic means is colored by the spectroscopic means, color correction is performed by image processing. Specific examples will be described below.
The light that has passed through the electrochromic layer in the second embodiment is colored by the color of the material. For example, in the case of tungsten trioxide, blue is colored on the entire screen. Therefore, the portion colored by the electrochromic mirror may be removed by digital processing.
For example, in the case of tungsten trioxide, since blue is colored on the entire screen, processing is performed so as to reduce the blue component of light that was taken by the image sensor. In that case, it is more effective if the unevenness of the electrochromic mirror and the unevenness of the light amount of the imaging optical system are taken into consideration.
Further, according to this embodiment, even if there is a color of the element in reflected light or transmitted light, it can be used as a spectroscopic means.
[0020]
A fourth embodiment will be described. In this embodiment, an independent aperture means is provided for each imaging optical system, and an aperture value is determined for each imaging optical system.
If the aperture value determination focal length is different, the depth of field changes accordingly (the wide-angle side has a deep depth of field, and the telephoto side has a shallow depth of field). When the image is inserted, the vicinity of the joint becomes unnatural.
Therefore, the exposure conditions must be adjusted in order to make the degree of blurring near the periphery of the telephoto image approximately the same as the blurring boundary of the wide-angle image. For example, the degree of blur around the periphery of FIG. 3 and the vicinity of the broken line in FIG.
Therefore, in order to adjust the depth of field of each imaging optical system, an aperture adjusting unit is provided for each imaging optical system, and the degree of blurring in the vicinity of the joint of the wide-angle image and the telephoto image is approximately equal by the aperture adjusting unit. Adjust the aperture so that
According to this embodiment, it is possible to prevent the joint of two images from becoming unnatural.
[0021]
A fifth embodiment will be described. In this embodiment, the spectral ratio of the spectroscopic means is determined so that the exposure times of the respective imaging units are equal.
Generally, the lens becomes darker when shooting with a telephoto lens than when shooting with a wide-angle lens. In addition, as shown in the fourth embodiment, in order to make the degree of blurring near the seam equal, it is necessary to make the aperture on the telephoto side narrower than the aperture on the wide angle side. For this reason, it is necessary to allocate a larger amount of light to the telephoto side in order to equalize the exposure time in each imaging unit. By adjusting the spectral ratio with an electrochromic mirror (so that more light is allocated to the telephoto side), the same exposure time is obtained.
Moreover, even if each image sensor is different, it is necessary to carry out the spectroscopy so that the spectral ratios are equal to each other so that the exposure times are equal.
According to this embodiment, there is no problem even when shooting a moving object.
[0022]
A sixth embodiment will be described. In this embodiment, image distortion due to distortion of a plurality of data is detected, and at least one image is converted to embed the telephoto image data in the wide-angle image data.
Depending on the focal length, the distortion is generated differently. As shown in FIG. 9, the telephoto lens tends to be a drum shape, and the wide angle tends to be a drum shape as shown in FIG. Therefore, if a telephoto image of a wide-angle image is to be fitted as it is, the joint portion becomes unnatural as shown in FIG.
Therefore, it is necessary to detect and correct distortion of the wide-angle image and the telephoto image. As shown in FIG. 38, the corresponding points of the telephoto image and the wide-angle image are detected in the telephoto image and the wide-angle image, as shown in FIG. Is the telephoto image, w is the wide-angle image, and the same number of subscripts, it corresponds.) The difference in distance from the center of the image to each point (for example, | W1-O |-| T1-O |) Ask.
And if you calculate the distance from the center of the telephoto image and the distance difference from the center of the corresponding point of telephoto and wide angle and perform regression calculation, the absolute value is not obtained, but one image is It is possible to obtain a relative distortion curve when used as a reference.
The difference between the corresponding point of the wide-angle image and the distance from the center is plotted on the horizontal axis, and the difference of the distance between each corresponding point and the center of the image is plotted on the vertical axis. The curve in the graph is the regression calculation. 6 is a relative distortion curve when the telephoto image obtained by the above is used as a reference.
[0023]
As shown in FIG. 13, since the distortion aberration of one image can be matched with the other distortion aberration, the unnaturalness of the joint portion can be eliminated. Although the absolute amount of distortion is not known, a standard is determined (either a wide-angle image or a telephoto image is regarded as an image having no aberration), and distortion is corrected. There are many methods for correcting distortion of an image whose distortion curve is known, such as JP-A-11-250238, JP-A-11-250239, JP-A-11-250240, and JP-A-6-292207. Is disclosed.
Further, instead of converting only one image, since the shift amount of the distance from the center at each corresponding position is known, both images may be converted and combined. Which method is used depends on the characteristics of the taking lens.
[0024]
A seventh embodiment will be described. In this embodiment, the focal length of the lens is detected, and distortion is corrected based on the detected result.
The distortion can be easily detected by comparing the focal length and the distortion diagram for each focal length as compared with the image analysis method. The distortion diagram data is written in a ROM (read-only memory) in the camera, and the amount of aberration is obtained from the focal length when the image is actually taken. In addition, after the (mechanical) assembly of the camera is finished, the focal length is obtained by shaking, the lattice pattern etc. is actually photographed, the aberration amount for each focal length is obtained, and the relationship between the focal length and the aberration amount is obtained. If the data in the internal ROM is written, it is possible to eliminate variations among individuals, so that it is possible to further improve the distortion aberration correction accuracy.
The distortion of each image is corrected and the images are synthesized. Unlike the sixth embodiment, since an absolute distortion amount is obtained, the distortion of the image can be corrected as shown in FIG.
[0025]
The focal length is detected by placing a resistor plate on the lens barrel and detecting the amount of rotation of the gear or motor using an encoder that detects changes in the resistance value due to the change in focal length, detecting the number of steps of the stepping motor, etc. Is obtained from the lens barrel feed amount and the lens position.
As a distortion correction method, many methods such as JP-A-11-250238, JP-A-11-250239, JP-A-11-250240, and JP-A-6-292207 are disclosed.
According to this embodiment, the distortion can be easily obtained by detecting the focal length as compared with the sixth embodiment.
[0026]
An eighth embodiment will be described. In this embodiment, what is the main subject is set, and the image sensor is moved so that the center of the image sensor that captures the image with the narrower shooting angle of view is located at the position of the main subject image, or Move the incident light.
As shown in FIG. 14, when the main subject deviates from the center, the main subject cannot be photographed with high resolution, and the advantages of partial high resolution photographing cannot be utilized. Therefore, a main subject setting means is provided so that the position of the main subject in the shooting screen can be set, and that portion can be shot with high resolution.
As the main subject position setting means, a method of line-of-sight detection, a method of moving a cursor in the screen with a touch panel type liquid crystal display, a joystick, or the like can be considered.
In addition, in order to photograph the main subject with high resolution, the imaging unit on the side that captures the telephoto image can be moved while maintaining the perpendicular to the optical axis, or the position of the incident subject image can be set. For example, a variable apex prism for shifting is arranged in the optical path, and the subject image or the imaging unit is moved so that the main subject image set in the center of the imaging surface comes.
Even if the main subject is located outside the center of the shooting screen, the main subject portion can be taken with high resolution as shown in FIG.
[0027]
A ninth embodiment will be described. In this embodiment, the shooting angle of view of each imaging unit is set independently.
First, the focal length ratio between the wide-angle image and the telephoto image can be switched. Then, after determining the shooting angle of view with the optical system on the wide-angle shooting side, the optical system on the telephoto side is operated to determine the range for shooting with high resolution.
Thereafter, the focal length of the imaging optical system on the side that performs telephoto shooting is determined. If the focal length of the photographic optical system on the telephoto side is short, the range of high resolution is wide, but the degree of improvement in resolution is small. Also, if the focal length is increased, the resolution in that range can be significantly increased, although it is a narrow range.
As a result, the user can increase the resolution a little over a wide range as shown in FIG. 16, remarkably increase the resolution over a narrow range as shown in FIG. 17, or the middle between them as shown in FIG. Can be selected.
According to this embodiment, the user can determine a range to be taken with high resolution.
[0028]
A tenth embodiment will be described. In this embodiment, an image having the widest angle of view among a plurality of captured images is displayed, and an imaging range having a narrower angle of view is displayed.
First, display means for displaying the range of the telephoto image in the wide-angle image is provided, and the boundary between the wide-angle image portion and the telephoto image portion is displayed as shown in FIG. In the case of a finder, a transmissive liquid crystal module is incorporated in the finder optical system to display a telephoto shooting range.
When the liquid crystal display is a finder means, an image and a boundary line between the images when displayed in the projected screen are displayed. When the high-resolution shooting part can be set at a position other than the center of the screen as in the eighth embodiment, the main subject may be set by moving the frame.
According to this embodiment, it is possible to easily confirm the range that is photographed with high resolution.
[0029]
An eleventh embodiment will be described. This embodiment allows the spectroscopic means to control the spectroscopic ratio partially independently within the same spectroscopic means.
As shown in FIG. 20, the electrochromic thin film is formed separately so that it can be partially controlled. Then, as shown in FIG. 21, a case where a wide-angle image is captured on the reflection side of the spectroscopic means and a telephoto image is captured on the transmission side will be described as an example. There is no inconvenience even when the transmission side is wide-angle shooting and the reflection side is telephoto shooting.
In the vicinity of the center of the spectroscopic means (hatched portion), the transmittance is increased as compared with other portions (peripheral portions) in order to allocate a larger amount of light to the side taking a telephoto image. This shortens the exposure time of the telephoto image and makes it difficult to be affected by camera shake. Although the vicinity of the center on the wide-angle image side seems to be underexposed, there is no problem because the telephoto image is fitted in that portion.
Further, as shown in FIG. 22, if the electrochromic layer can be controlled in light quantity with a pattern that separates the transmittance and the reflectance at a plurality of positions, the case of the ninth embodiment can be dealt with. If the electrochromic layer is divided as shown in FIG. 23 and the reflectance and transmittance are switched according to the position of the main subject as shown in FIG. Can also respond.
[0030]
A twelfth embodiment will be described. In this embodiment, the angle of view of a plurality of image pickup means is made the same, and the spectroscopic means can select a shooting mode for shooting with different amounts of incident light on each image pickup means.
By capturing multiple imagers with the same angle of view, changing the exposure conditions, and synthesizing the images, you can obtain an image with no overexposure in the high-intensity part and blackout in the low-intensity part. Like that. FIG. 25 is a diagram illustrating an example in which the high luminance part A and the low luminance part B are simultaneously photographed.
If it is overexposed, as shown in FIG. 26, the photoelectrically changed charge cannot be accumulated, so that it is overexposed. On the other hand, if the exposure is insufficient, as shown in FIG. 27, since the photoelectrically converted electric charge is small, the imaging signal is buried in the noise component, resulting in blackout.
Therefore, there is no need for partial high-resolution shooting, and when a high-brightness object and a low-brightness object are mixed in one shooting screen, shooting can be performed with the same angle of view while changing the exposure amount. At that time, if the size of the squeezing changes, the blurring method changes in each image, so the squeezing is the same. Further, if the exposure time changes in each imaging unit, a problem occurs when the subject moves as described above. Therefore, the exposure amount is controlled by adjusting the spectroscopic means. As a result, an image with no overexposure and underexposure as shown in FIG. 28 can be obtained.
[0031]
A thirteenth embodiment will be described. In this embodiment, the focal lengths of the plurality of imaging units are made the same, and the imaging mode for imaging by relatively shifting the incident positions on the plurality of imaging units can be selected.
By relatively shifting the incident position of the subject image on each imaging unit, it is possible to perform imaging with the same effect as imaging by the pixel shifting method. Since the image sensor detects a color by attaching a color filter as shown in FIG. 29, each light receiving element of the image sensor can take only a specific color component. Therefore, the corresponding position of the light receiving element on each imaging surface is arranged at a position where the corresponding position of the light receiving element with respect to incident light is shifted by a predetermined amount and in a predetermined direction so as to compensate for the lack of color information. Improves the image quality.
In the case of a primary color filter, the image sensor is shifted by a method of shifting one pixel in the vertical direction or the horizontal direction as shown in FIG. 30 so that the green filter fills every pixel, and as shown in FIG. A method of shifting by half a pixel in an oblique direction (increasing sampling density) is known.
[0032]
A fourteenth embodiment will be described. In this embodiment, the incident position moving means also serves as a mechanism for shifting the main subject so as to come to the imaging center of the imaging unit on the telephoto side in the sixth embodiment.
As in the sixth embodiment, the incident light moving means includes a method of changing the optical path, such as a variable apex angle prism and an optical path moving lens, and a method of moving the image sensor itself. Good.
According to this embodiment, it is not necessary to have another optical path switching means in order to achieve the functions of the sixth embodiment and the twelfth embodiment.
[0033]
A fifteenth embodiment will be described. In this embodiment, each image pickup unit has the same angle of view, and a shooting mode for shooting by changing the in-focus position can be selected.
As shown in FIG. 32, when a plurality of subjects having different distances from the camera (in FIG. 32, a person and a building) are on one screen, when actually photographed, as shown in FIG. 33 and FIG. When one subject is in focus, the other subject is out of focus.
Therefore, when partial high-resolution imaging is not required, a shooting mode is provided in which a plurality of imaging units are used to capture images while shifting the in-focus position and combine them as shown in FIG. When there is a large difference in luminance between a subject that is far from the camera and a subject that is close to the camera, the spectroscopic means may be adjusted to capture the amount of light that is guided to each imaging unit.
According to this embodiment, it is possible to capture an image that is in focus over a wide range.
[0034]
  In invention of Claim 1,There is no problem even when shooting moving objects.
  In invention of Claim 2,It is possible to prevent the joint of two images (a wide-angle image and a telephoto image) from becoming unnatural.
[0035]
  Claim3In the described invention, since the amount of incident light is reduced, the photographing time is shortened, and deterioration of the photographed image due to camera shake can be reduced.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an electronic camera according to an embodiment of the present invention.
FIG. 2 is a diagram showing a subject image divided by a spectroscopic unit and photographed by a plurality of imaging units with different photographing angles.
FIG. 3 is a diagram illustrating an example in which images with different angles of view are captured.
FIG. 4 is a diagram illustrating an example in which images with different angles of view are captured.
FIG. 5 is a diagram illustrating an example in which the size of a telephoto image is embedded in a wide-angle image.
6 is a diagram for explaining the degree of blur around the broken line in comparison with FIG. 3. FIG.
FIG. 7 is a conceptual diagram showing that the density of image data is high and the data has higher resolution than other portions.
FIG. 8 is a conceptual diagram showing a state in the case of having resolution data of three or more stages.
FIG. 9 is a conceptual diagram illustrating that the telephoto is likely to be a drum-shaped image.
FIG. 10 is a conceptual diagram illustrating that a wide angle tends to be a drum shape.
FIG. 11 is a diagram illustrating an example in which a joint portion becomes unnatural when attempting to fit a telephoto image of a wide-angle image.
FIG. 12 is a diagram illustrating an example in which image distortion is corrected.
FIG. 13 is a diagram illustrating an example in which the unnaturalness of the joint portion is eliminated by matching the distortion aberration of one image with the distortion aberration of the other image.
FIG. 14 is a diagram illustrating a case where a main subject is off the center.
FIG. 15 is a diagram illustrating an example in which a main subject portion is photographed with high resolution.
FIG. 16 is a diagram illustrating an example in which resolution is slightly increased for a wide range.
FIG. 17 is a diagram illustrating an example in which resolution is remarkably increased in a narrow range.
FIG. 18 is a diagram illustrating a case where an intermediate point between FIGS. 16 and 17 is selected.
FIG. 19 is a diagram illustrating a boundary between a wide-angle image portion and a telephoto image portion.
FIG. 20 is a view showing an example in which electrochromic thin films are separately formed so as to be partially controlled.
FIG. 21 is a diagram exemplifying a case where a wide-angle image is captured on the reflection side of the spectroscopic means and a telephoto image is captured on the transmission side.
FIG. 22 is a diagram showing an example in which the amount of light can be controlled with a pattern in which the electrochromic layer further separates transmittance and reflectance at a plurality of positions.
FIG. 23 is a diagram showing an example in which electrochromic layers are arranged separately.
FIG. 24 is a diagram illustrating an example in which the reflectance and transmittance are switched according to the position of the main subject.
FIG. 25 is a diagram illustrating an example in which a high luminance part A and a low luminance part B are photographed simultaneously.
FIG. 26 is a diagram illustrating an example in which overexposure occurs due to overexposure that prevents photoelectrically changed charges from being accumulated.
FIG. 27 is a diagram illustrating an example in which an imaging signal is buried in a noise component due to insufficient exposure due to insufficient exposure, resulting in blackout.
FIG. 28 is a diagram illustrating an image in a state where there is no overexposure and no overexposure.
FIG. 29 is a diagram illustrating an example of a color filter.
FIG. 30 is a diagram for explaining a method of shifting by one pixel in a vertical direction or a horizontal direction.
FIG. 31 is a diagram illustrating a method of shifting by half a pixel in an oblique direction.
FIG. 32 is a diagram illustrating an example in which a plurality of subjects with different distances from the camera are on one screen.
FIG. 33 is a diagram illustrating an example in which when one subject (person) is focused, the other subject is not focused.
FIG. 34 is a diagram illustrating an example in which when one subject (building) is focused, the other subject is not focused.
FIG. 35 is a diagram showing an example in which in-focus locations in FIGS. 34 and 35 are synthesized.
FIG. 36 is a diagram showing an example of a spectral ratio variable unit.
FIG. 37 is a diagram illustrating a common part between a telephoto image and a wide-angle image.
FIG. 38 is a diagram for explaining a method of detecting corresponding points of a telephoto image and a wide-angle image in a telephoto image and obtaining a difference between the points and the distance from the center of the image.
FIG. 39 is a diagram in which the difference in distance from the corresponding point of the wide-angle image and the center is plotted on the horizontal axis, and the difference in distance between each corresponding point and the center of the image is plotted on the vertical axis.
[Explanation of symbols]
10 Shooting lens
22 Image processing unit
24 Recording section
26 Operation unit
28 Display section

Claims

撮像光学系の光路中に配置され、透過率と反射率の分光比の特性を制御可能な単数または複数の分光手段と、
前記分光手段で分けられた光を異なった撮影画角で結像する複数の撮像手段と、
前記複数の各撮像手段の露光時間が等しくなるように前記分光手段の分光比を制御する制御手段と、を備えることを特徴とする撮像装置。One or more spectroscopic means disposed in the optical path of the imaging optical system and capable of controlling the spectral ratio characteristics of transmittance and reflectance;
A plurality of imaging means for imaging at imaging angle a different light separated by the spectroscopic means,
An image pickup apparatus comprising: control means for controlling a spectral ratio of the spectroscopic means so that exposure times of the plurality of image pickup means are equal .

撮像光学系毎に被写界深度を調整する独立の絞り手段と、Independent diaphragm means for adjusting the depth of field for each imaging optical system;
前記各絞り手段毎に絞り値を決定する絞り調整手段と、を備えたことを特徴とする請求項１に記載の撮像装置。The imaging apparatus according to claim 1, further comprising: an aperture adjustment unit that determines an aperture value for each aperture unit.

前記分光手段は、同一の分光手段の中で、部分的に独立で分光比を制御できることを特徴とする請求項１または請求項２に記載の撮像装置。The spectroscopic means, in the same spectral means, the imaging apparatus according to claim 1 or claim 2, characterized in that to control the spectral ratio partially independent.