JP2009267555A - 撮像装置、撮像方法 - Google Patents

Abstract

【課題】感度範囲の広い画像を簡単に撮影することが可能な技術を提供する。
【解決手段】露光時間が互いに異なる第１ないし第３のカラー画像データを生成する。各画像データは、画素毎にＲＧＢの何れかの成分で表現されたカラー画像データの形式で生成する。このようなカラー画像データは、単成分の画像データとして取り扱うことができるので、これらを１つのカラー画像データに圧縮して合成した後、得られた合成カラー画像データを、被写体のカラー画像データとして出力する。こうすれば、３つの露光時間で撮影されたカラー画像データを、通常のカラー画像データと同様の手軽さで出力することができるので、感度範囲の広い画像を簡単に出力することが可能となる。
【選択図】図３

Description

本発明は、電子的な手法によって画像を撮影する技術に関し、より詳しくは、複数の露光時間で撮像した画像を合成することによって、ダイナミックレンジの広い画像を撮影する技術に関する。

映像を電子的な信号として取り出すことの可能なイメージセンサが開発され、今日では、デジタルカメラやビデオカメラなどに組み込まれて広く普及している。このイメージセンサの感度範囲（ダイナミックレンジ）は、人間の視覚の感度範囲に較べれば、依然としてかなり狭いので、人間の視覚では容易に認識可能な被写体であっても、デジタルカメラなどで撮影すると、明るい部分が白く飛んだ画像となり、暗い部分が黒く潰れた画像となってしまう場合がある。このような被写体では、明るい部分を映そうとして露光時間を短くすると、暗めの部分が全て黒く潰れた画像になってしまい、逆に、暗い部分を映そうとして露光時間を長くすると、明るめの部分が全て白く飛んだ画像になってしまう。

そこで、露光時間を多段階（例えば、長中短の３段階）に設定して、各露光時間で撮影した画像を合成することにより、人間の視覚と比較し得るような広い感度範囲の画像を得ようとする技術が提案されている（特許文献１）。また、このように多段階の露光時間で得られた画像を合成する技術では、動きのある被写体を撮影すると、露光時間の長い画像では被写体がぶれて映ってしまうので、合成した画像でも被写体がぶれてしまう。そこで、長い露光時間の画像で被写体が動いているか否かを判断し、被写体が動いていると判断された場合には、画像の合成を断念して、短い露光時間の画像のみを用いることとした技術も提案されている（特許文献２）。

特許第２５２２０１５号公報 特開２０００−０５０１５１号公報

しかし、このような多段階の露光時間の画像を合成することで感度範囲の広い画像を撮影する技術は、十分に使い易い撮像技術とはなっていないという問題があった。何故ならば、動きのある被写体を撮影する場合、感度範囲を拡大するために多段階の露光時間で画像を撮影すると、長い露光時間の画像では被写体がぶれてしまうので、良好な合成画像を得ることができない。これを避けるために、被写体がぶれているか否かを判断して、ぶれていた場合には露光時間の短い画像のみを採用することとしたのでは、撮影の度に判断が必要となるだけでなく、感度範囲を拡大することもできない。従って、現状の技術では、被写体がぶれるなどして画質が悪化する場合があることを許容するか、さもなければ、画像の感度範囲が狭いままとなる場合があることを許容しなければならず、十分に使い易い技術とはなっていないという問題があった。

この発明は、従来の技術が有する上述した課題を解決するためになされたものであり、感度範囲の広い画像を撮影することが可能で、しかも十分に使い易い撮像技術を提供することを目的とする。

上述した課題の少なくとも一部を解決するために、本発明の撮像装置は次の構成を採用した。すなわち、
受光した光を電荷に変換して蓄積する複数の光電素子がマトリックス状に配列された撮像面上に、被写体の映像を露光させて、光の三原色を構成するＲ成分、Ｇ成分、Ｂ成分に対応した電荷量を読み出すことにより、該被写体のカラー画像を撮影する撮像装置であって、
前記撮像面への露光時間を複数段階に異ならせて前記被写体を撮影することにより、該露光時間が互いに異なる第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを生成するカラー画像データ生成手段と、
前記第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを１つのカラー画像データに合成することにより、合成カラー画像データを生成する合成カラー画像データ生成手段と、
前記合成されたカラー画像データを出力するカラー画像データ出力手段と
を備え、
前記カラー画像データ生成手段は、前記撮像面上の前記光電素子毎に互いに異ならせて設定された前記Ｒ成分、Ｇ成分、Ｂ成分の何れか１成分に対応する電荷量を読み出すことにより、各画素がＲＧＢの何れか１成分を有する表現形式で、前記第１ないし第３のカラー画像データを生成する手段であり、
前記合成カラー画像データ生成手段は、前記第１ないし第３のカラー画像データをそれぞれ単成分の画像データと読み替えて、１つのカラー画像データとして圧縮することにより、前記合成カラー画像データを生成する手段であることを要旨とする。

また、上記の撮像装置に対応する本発明の撮像方法は、
受光した光を電荷に変換して蓄積する複数の光電素子がマトリックス状に配列された撮像面上に、被写体の映像を露光させて、光の三原色を構成するＲ成分、Ｇ成分、Ｂ成分に対応した電荷量を読み出すことにより、該被写体のカラー画像を撮影する撮像方法であって、
前記撮像面への露光時間を複数段階に異ならせて前記被写体を撮影することにより、該露光時間が互いに異なる第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを生成する第１の工程と、
前記第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを１つのカラー画像データに合成することにより、合成カラー画像データを生成する第２の工程と、
前記合成されたカラー画像データを出力する第３の工程と
を備え、
前記カラー画像データを生成する第１の工程は、前記撮像面上の前記光電素子毎に互いに異ならせて設定された前記Ｒ成分、Ｇ成分、Ｂ成分の何れか１成分に対応する電荷量を読み出すことにより、各画素がＲＧＢの何れか１成分を有する表現形式で、前記第１ないし第３のカラー画像データを生成する工程であり、
前記合成カラー画像データを生成する第２の工程は、前記第１ないし第３のカラー画像データをそれぞれ単成分の画像データと読み替えて、１つのカラー画像データとして圧縮することにより、前記合成カラー画像データを生成する工程であることを要旨とする。

かかる本発明の撮像装置および撮像方法においては、露光時間が互いに異なる第１ないし第３のカラー画像データを生成した後、これら３つのカラー画像データを１つのカラー画像データに合成した後、得られた合成カラー画像データを、被写体のカラー画像データとして出力する。ここで、第１ないし第３のカラー画像データは、ＲＧＢの各成分を含んでいるが、個々の画素についてみれば、何れか１成分しか持たない画像データとなっている。このため、これら第１ないし第３のカラー画像データを、ＲＧＢカラー画像データを構成するＲＧＢの各成分の画像データとして取り扱って、１つのカラー画像データとして圧縮することができる。こうして得られた圧縮後のカラー画像データを、合成カラー画像データとして出力する。

こうすれば、３つの露光時間で撮影したカラー画像データを、圧縮した１つの合成カラー画像データとして出力することができる。各露光時間のカラー画像データは、個々の画素については１成分しか持っていないので、カラー画像データではあっても、単成分の画像データとデータ量は同じである。このため、３つの露光時間で撮影したカラー画像データ全体でも、画素毎にＲＧＢの３成分を有する一般的なカラー画像データと同じデータ量にしかならない。加えて、画像データの取り扱いに関しても、単成分の画像データと同様に扱うことができるので、一般的なカラー画像データを圧縮する方法と同様にして圧縮することが可能であり、圧縮することで、データ量を更に減少させると同時に、３つのカラー画像データを１つの画像データとして取り扱うことができる。その結果、３つの露光時間で撮影されたカラー画像データを、通常のカラー画像データと同様の手軽さで出力することができるので、感度範囲の広い画像を簡単に出力することが可能となる。

また、かかる本発明の撮像装置においては、第１ないし第３のカラー画像データを圧縮して合成カラー画像データを生成する際に、次のようにしてもよい。先ず、露光時間が最も短いカラー画像データをＧ成分の画像データと読み替えて、露光時間が最も長いカラー画像データをＢ成分の画像データと読み替え、残ったカラー画像データをＲ成分の画像データと読み替える。そして、それら３つのカラー画像データを、１つのカラー画像データとして扱って、圧縮することとしても良い。

露光時間が短くなるほど、画像は暗く映る。また、人間の視覚は、Ｇ色が最も明るく感じ、次いでＲ色、Ｂ色の順で明るく感じる傾向にある。このことから、最も短い露光時間で撮影したカラー画像データをＧ成分として扱い、中間の露光時間で撮影したカラー画像データをＲ成分として扱い、最も長い露光時間で撮影したカラー画像データをＢ成分として扱っておけば、それらを通常のＲＧＢカラー画像データとして表示した場合でも、ある色成分が他の色成分よりも強調されることなく、比較的自然な画像として認識することが可能である。このため、撮影した画像の内容を、容易に確認することが可能となるので好ましい。

また、上述した本発明の撮像装置においては、各露光時間で得られた第１ないし第３のカラー画像データを圧縮する際に、次のようにしても良い。先ず、第１ないし第３のカラー画像データは、画素毎にＲＧＢの何れか１成分を有する画像データとなっているので、同じ成分同士が集まるように画素位置を再配置することによって、第１ないし第３のカラー画像データを、それぞれに変換する。続いて、画素位置が再配置された第１ないし第３のカラー画像データを、単成分の画像データであるかのように扱うことで、１つのカラー画像データとして圧縮してもよい。

第１ないし第３のカラー画像データは、隣接する画素に異なる色成分のデータが記録されているから、高周波数成分を多く含んだ画像データとなっている。そして、このような高周波数成分は、カラー画像データを圧縮する際に失われ易いので、それに伴って画質の劣化を招き易い傾向がある。これに対して、画素位置の再配置を行えば、隣接する画素に記録されているデータは同じ色成分のデータとなるので、画像データに含まれる高周波数成分を大きく減少させることができる。その結果、画質の劣化を伴うことなく、カラー画像データを圧縮して出力することが可能となる。

また、上述した本発明の撮像装置においては、次のようにして、第１ないし第３のカラー画像データを圧縮しても良い。先ず、第１ないし第３のカラー画像データの中からＧ成分の画素を集めてＧ成分の画像データを生成する。Ｒ成分およびＢ成分についても同様に、第１ないし第３のカラー画像データの中から、Ｒ成分あるいはＢ成分の画素を集めて、Ｒ成分の画像データおよびＢ成分の画像データを生成する。そして、こうして生成したＧ成分の画像データ、Ｒ成分の画像データ、Ｂ成分の画像データを、１つのカラー画像データのＧ成分、Ｒ成分、Ｂ成分として扱って、圧縮するようにしても良い。

こうすれば、次の理由から、カラー画像データを圧縮する際の画質の劣化を最小限に抑制して、高画質なカラー画像を得ることができる。先ず、同じ成分同士を集めているために、画像データに含まれる高周波数成分を減少させることができるので、画像データの圧縮に伴う画質の劣化を抑制することができる。また、Ｇ成分、Ｒ成分、Ｂ成分の中で、画質に最も大きく影響するのは、Ｇ成分であることが知られており、このことと対応して、カラー画像データを圧縮する技術では、Ｇ成分に含まれる情報をできるだけ保存するように圧縮される傾向がある。そこで、第１ないし第３のカラー画像データの中で、画質に最も大きく影響するＧ成分を取りだして、それらをカラー画像データのＧ成分として圧縮してやれば、画質の劣化を最小限に抑制した状態で、第１ないし第３のカラー画像データを圧縮することが可能となる。

更に本発明は、上述した撮像方法を実現するためのプログラムをコンピュータに読み込ませ、所定の機能を実行させることにより、コンピュータを用いて実現することも可能である。従って、本発明は次のようなプログラムとしての態様も含んでいる。すなわち、上述した撮像方法に対応する本発明のプログラムは、
受光した光を電荷に変換して蓄積する複数の光電素子がマトリックス状に配列された撮像面上に、被写体の映像を露光させて、光の三原色を構成するＲ成分、Ｇ成分、Ｂ成分に対応した電荷量を読み出すことにより、該被写体のカラー画像を撮影する方法を、コンピュータを用いて実現するためのプログラムであって、
前記撮像面への露光時間を複数段階に異ならせて前記被写体を撮影することにより、該露光時間が互いに異なる第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを生成する第１の機能と、
前記第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを１つのカラー画像データに合成することにより、合成カラー画像データを生成する第２の機能と、
前記合成されたカラー画像データを出力する第３の機能と
をコンピュータによって実現させると共に、
前記カラー画像データを生成する第１の機能は、前記撮像面上の前記光電素子毎に互いに異ならせて設定された前記Ｒ成分、Ｇ成分、Ｂ成分の何れか１成分に対応する電荷量を読み出すことにより、各画素がＲＧＢの何れか１成分を有する表現形式で、前記第１ないし第３のカラー画像データを生成する機能であり、
前記合成カラー画像データを生成する第２の機能は、前記第１ないし第３のカラー画像データをそれぞれ単成分の画像データと読み替えて、１つのカラー画像データとして圧縮することにより、前記合成カラー画像データを生成する機能であることを要旨とする。

このプログラムをコンピュータに読み込んで、上記の各機能を実現させれば、感度範囲の広い画像を簡単に撮影することが可能となる。

以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施例を説明する。
Ａ．装置構成：
Ｂ．撮像処理：
Ｃ．現像処理：
Ｄ．変形例：
Ｄ−１．第１の変形例：
Ｄ−２．第２の変形例：

Ａ．装置構成 ：
図１は、本実施例の撮像装置１００の大まかな構成を示した説明図である。図示されるように、本実施例の撮像装置１００には、複数のレンズ群から構成される光学系１０と、光学系１０によって結像された被写体の像を電気信号に変換する撮像部２０と、撮像部２０で得られた電気信号を受け取って所定の画像処理を施すことにより、カラー画像データを生成する画像処理部３０と、生成されたカラー画像データを出力する画像出力部４０などから構成されている。

撮像部２０には、受光した光を電荷に変換して蓄積する微細な光電素子が、二次元のマトリックス状に配列されて構成されたイメージセンサ２４が搭載されている。また、イメージセンサ２４の手前側には、カラーフィルタアレイ２２が設けられている。カラーフィルタアレイ２２は、Ｒ（赤）の微細なカラーフィルタと、Ｇ（緑）の微細なカラーフィルタと、Ｂ（青）の微細なカラーフィルタとが所定の配置で並べられて構成されており、イメージセンサ２４の光電素子の各々には、Ｒ色、Ｇ色、Ｂ色の何れか１つの色成分の光のみが届くようになっている。このため、イメージセンサ２４では、ＲＧＢの色成分が所定の配置で並べられ、個々の画素については何れか１つの色成分を有するようなモザイク状のカラー画像データが得られることになる。ＲＧＢの各色成分の配置については後述する。

本実施例の撮像装置１００に搭載された画像処理部３０は、このようなイメージセンサ２４で得られたカラー画像データに対して所定の画像処理を施すことによって、撮影画像のカラー画像データを生成する。図示されているように、画像処理部３０には、イメージセンサ２４から画像を読み出す画像読み出し部３２が搭載されている。詳細には後述するが、画像読み出し部３２は、露光時間（イメージセンサ２４での電荷の蓄積時間）を異ならせて、３つの画像を読み出すことが可能となっており、読み出した各画像は第１メモリ３４、第２メモリ３５、第３メモリ３６にそれぞれ一旦、記憶される。続いて、これらの３つの画像は画像圧縮部３８によって読み出されて、１つのカラー画像データとして圧縮される。本実施例の画像圧縮部３８には、ＲＧＢの３成分を有するカラー画像データ（ＲＧＢカラー画像データ）を圧縮するＪＰＥＧ圧縮モジュールが用いられており、第１メモリ３４の画像はＲＧＢカラー画像データのＧ成分として、第２メモリ３５の画像はＲ成分として、第３メモリ３６の画像はＢ成分として、それぞれ画像圧縮部３８に読み出されて、１つのカラー画像データとして圧縮される。

こうしてＪＰＥＧ圧縮されたカラー画像データは、画像出力部４０に供給されて、外部出力端子４２あるいはメモリカード４４などに出力される。尚、本実施例の撮像装置１００では、画像圧縮部３８がＪＰＥＧ圧縮モジュールによって構成されるものとして説明するが、ＲＧＢの３成分を１つのカラー画像データとして圧縮することが可能であれば、ＪＰＥＧ圧縮に限らず、他の方法で圧縮を行うモジュールを用いることも可能である。

図２は、カラーフィルタアレイ２２に、ＲＧＢの微細なカラーフィルタが所定の配置で並べられている様子を示した説明図である。カラーフィルタアレイ２２の中で細かい斜線を付した部分はＢ色のカラーフィルタであり、粗い斜線を付した部分はＲ色のカラーフィルタであり、斜線を付していない部分はＧ色のカラーフィルタである。図示されているように、カラーフィルタアレイ２２には、ＲＧＢの各カラーフィルタが一定のパターンで繰り返して配置されている。また、個々のカラーフィルタの大きさは、イメージセンサ２４を構成する各光電素子と同じ大きさとなっており、各カラーフィルタの位置と、各光電素子の位置とが一致するように構成されている。このため、イメージセンサ２４では、ＲＧＢの各カラーフィルタの配列と同じパターンで、ＲＧＢの各成分がモザイク状に配置された画像データが得られることになる。

こうして得られたモザイク状の画像データは、個々の画素についてはＲＧＢの何れか１つの成分しか有していないので、形式的には単色成分の画像データ（モノクロ画像データ）と同様に取り扱うことができる。また、各画素に欠落している色成分を周囲の画素から補間することにより、ＲＧＢカラー画像データに変換することも可能な画像データとなっている。本実施例の撮像装置１００では、この点に着目して、露光時間を３段階に変えて撮影した３つのカラー画像を、モザイク状の画像データの形式で保存し、それらをＲ成分の画像データ、Ｇ成分の画像データ、Ｂ成分の画像データとして圧縮することで、感度範囲の広い画像を撮影することを可能としている。しかも、被写体のぶれによる画質の悪化や、感度範囲が広げられない場合があることを気にする必要がない。このため、たいへん使い易い技術となっている。以下では、本実施例の撮像装置１００を用いて画像を撮影する処理および、撮影した画像を現像する処理について説明する。

Ｂ．撮像処理 ：
図３は、本実施例の撮像装置１００で画像の撮影時に行われる撮像処理の流れを示したフローチャートである。かかる処理は、撮像装置１００の全体の制御を司っている図示しないＣＰＵによって実行される処理である。撮像処理では、先ず始めに露光時間の設定を取得する（ステップＳ１００）。この露光時間は、撮影しようとする画像の明るさに応じて、１つ設定される露光時間であり、撮像装置１００のユーザーが、図示しない操作ボタンを操作することによって設定しても良いし、あるいは撮像装置１００が自動で設定しても良い。

次に、取得した露光時間に応じて、３段階の露光時間を決定する（ステップＳ１０２）。すなわち、撮影しようとする画像に応じてステップＳ１００で設定された露光時間を、中時間の露光時間（中露光時間）として決定し、中露光時間に対して所定比率の露光時間を、それぞれ短露光時間、長露光時間として決定する。

そして、シャッターが押されてから短露光時間が経過した時点で、イメージセンサ２４から画像データを読み出して、第１メモリ３４に記憶する（ステップＳ１０４）。続いて、中露光時間の経過時に読み出した画像データは第２メモリ３５に記憶し（ステップＳ１０６）、更に、長露光時間の経過時に読み出した画像データは第３メモリ３６に記憶する（ステップＳ１０８）。図２を用いて前述したように、このようにして読み出された画像データは、ＲＧＢの各成分がモザイク状に組み合わされたカラー画像データであり、個々の画素については１つの成分しか有していない。このため、単色成分の画像データと同様に取り扱うことが可能である。

そこで、第１メモリ３４〜第３メモリ３６に記憶された３つのカラー画像データを、それぞれＲＧＢカラー画像データのＧ成分、Ｒ成分、Ｂ成分とみなして、ＪＰＥＧ圧縮を行う（ステップＳ１１０）。かかる処理は、ＲＧＢカラー画像データをＪＰＥＧ圧縮するモジュールのＧｃｈに第１メモリ３４の画像データを、Ｒｃｈに第２メモリ３５の画像データを、Ｂｃｈに第３メモリ３６の画像データを供給することによって、容易に実現することができる。

こうして短露光時間、中露光時間、長露光時間のカラー画像データをＪＰＥＧ圧縮したら、得られたＪＰＥＧカラー画像データを、撮影画像のカラー画像データとして、外部出力端子４２あるいはメモリカード４４などに出力して（ステップＳ１１２）、図３の撮像処理を終了する。以上のようにして出力されたカラー画像データは、露光時間の異なる３つのカラー画像データが含まれているが、それぞれのカラー画像データはＲＧＢの各成分がモザイク状に配置された画像データとなっているので、３つのカラー画像データで通常のカラー画像データ１つ分のデータ量しかない。しかも、ＪＰＥＧ圧縮されているので、更にデータ量が小さくなっていると共に、３つのカラー画像データを一体の画像データとして取り扱うことができる。そして必要に応じて、以下に示すような現像処理を行うことにより、感度範囲の広いカラー画像を得ることが可能となっている。

Ｃ．現像処理 ：
図４は、本実施例の撮像装置１００で撮影されたカラー画像データを現像してカラー画像を出力する処理の流れを示したフローチャートである。かかる処理は、パーソナルコンピュータなどを用いて行っても良いし、プリンタなどに搭載されているコンピュータを用いてプリンタ内で実行することも可能である。

現像処理では、先ず始めに、本実施例の撮像装置１００で撮影されたＪＰＥＧカラー画像データを読み込む（ステップＳ２００）。ＪＰＥＧカラー画像データは、撮像装置１００の外部出力端子４２から直接読み込んでも良いし、あるいはメモリカード４４などに記憶されているデータを読み込んでも良い。

続いて、読み込んだＪＰＥＧカラー画像データを展開する（ステップＳ２０２）。ＪＰＥＧカラー画像データは、既存の専用モジュールを利用することで、直ちに展開することができる。尚、図３を用いて前述したように、撮像装置１００から出力されたＪＰＥＧカラー画像データは、短露光時間の画像データをＧ成分の画像データとして扱い、中露光時間の画像データをＲ成分の画像データとして扱い、長露光時間の画像データをＢ成分の画像データとして扱って、ＪＰＥＧ圧縮された画像データである。従って、ステップＳ２０２で展開して得られたカラー画像データは、Ｇ成分が短露光時間の画像データに対応し、Ｒ成分が中露光時間の画像データに対応し、Ｂ成分が長露光時間の画像データに対応している。また、これらの画像データは、ＲＧＢの何れか１つの成分がモザイク状に配列されたカラー画像データとなっている。

次に、展開して得られたカラー画像データを、パーソナルコンピュータあるいはプリンタなどのモニタ画面上に表示する（ステップＳ２０４）。展開して得られたカラー画像データのＲＧＢの各成分は、異なる露光時間で撮影されたモザイク状のカラー画像データであるが、短露光時間の画像データをＧ成分、中露光時間の画像データをＲ成分、長露光時間の画像データをＢ成分と扱えば、通常のＲＧＢカラー画像データと同じようにモニタに表示しただけでも、画像の内容を確認することが可能である。

そして、モニタに表示された画像を出力するか否かをユーザーに確認し（ステップＳ２０６）、出力する旨がユーザーによって選択された場合には（ステップＳ２０６：ｙｅｓ）、以下に説明するカラー画像出力処理を開始する（ステップＳ２５０）。これに対して、出力しない旨が選択された場合は（ステップＳ０６：ｎｏ）、カラー画像出力処理はスキップする。

図５は、カラー画像出力処理の流れを示すフローチャートである。カラー画像出力処理では、展開して得られたカラー画像データのＧ成分を、短露光時間の画像データとして記憶し（ステップＳ２５２）、Ｒ成分を中露光時間の画像データとして記憶し（ステップＳ２５４）、Ｂ成分を長露光時間の画像データとして記憶する（ステップＳ２５６）。ここで記憶される画像データは、各画素にＲＧＢの何れか１成分が記憶されたモザイク状のカラー画像データである。

次に、これら各露光時間の画像データを合成して合成画像を生成する（ステップＳ２５８）。各露光時間の画像データを合成して合成画像を得るには、周知の方法を用いることができる。本実施例では、次のようにして画像データを合成している。先ず、短露光時間の画像データに、（長露光時間／短露光時間）の比例係数を乗算して、長露光時間相当の画像データに変換する。同様に、中露光時間の画像データにも（長露光時間／中露光時間）の比例係数を乗算して、長露光時間相当の画像データに変換する。次いで、変換後の短露光時間の画像データと、変換後の中露光時間の画像データと、長露光時間の画像データとを加算する。

こうして得られた合成画像の画像データは、感度範囲が拡大された画像データとなっている。何故なら、たとえ短露光時間の画像データでは黒く潰れてしまって階調情報が失われた領域でも、中露光時間あるいは長露光時間の画像データに階調情報が残っていれば、これらの画像データを加算することで、この領域の階調情報を引き継ぐことができる。同様に、長露光時間の画像データでは白く飛んでしまって階調情報が残っていない領域でも、短露光時間あるいは中露光時間の画像データに階調情報が残っていれば、これらの画像データを加算することで、この領域の階調情報を引き継ぐことができる。結局、短露光時間でなければ映らないような明るい領域から、長露光時間でなければ映らないような暗い領域まで、広い感度範囲に亘って階調情報が保存された画像データが得られることになる。

もっとも、このように加算して得られた画像データは、最大階調値が階調値２５５を越えているので、階調値２５５に収まるように、最後に階調値を正規化しておく。加算して得られた画像データの階調値が最大になるのは、何れの露光時間の画像データも階調値２５５を取る場合であるから、最大階調値は、２５５×（長露光時間／短露光時間）＋２５５×（長露光時間／短露光時間）＋２５５となる。そこで、各露光時間の画像を加算して得られた画像データを、この最大階調値で除算した後、階調値２５５を乗算する。こうして、階調値が０〜２５５の範囲に正規化された画像データを、合成画像の画像データとする。

図６は、短露光時間の画像、中露光時間の画像、長露光時間の画像を合成して、広い感度範囲を有する合成画像を生成する様子を概念的に示した説明図である。短露光時間の画像では、明るい戸外の映像はハッキリと映っているが、暗い室内の映像は黒く潰れている。また、中露光時間の画像では、窓からの光が届く人物の映像は映っているが、その他の室内の映像は黒く潰れたままとなっており、戸外の映像は半ば飛んでしまっている。更に、長露光時間の画像では、暗い室内の映像は映っているが、人物や戸外の映像は白く飛んでしまっている。これらの画像を上述した方法によって合成することにより、明るい戸外から暗い室内まで明瞭に映像が映った合成画像を得ることが可能となる。

図５に示したカラー画像出力処理のステップＳ２５８では、以上のようにして、短露光時間、中露光時間、長露光時間で得られた画像データから、合成画像データを生成する処理を行う。尚、前述したように、ＪＰＥＧカラー画像データを展開して得られた短露光時間の画像データ、中露光時間の画像データ、長露光時間の画像データは、各画素にＲＧＢ何れかの成分がモザイク状に配列された画像データである。従って、各露光時間の画像データを合成して得られた画像データも、各画素については、ＲＧＢの何れかの成分のみが設定されたモザイク状のカラー画像データとなっている。そこで、合成した画像データの各画素について、欠落している色成分を、周辺の画素の成分から補間して算出する（ステップＳ２６０）。その結果、全ての画素にＲＧＢの各色成分が設定されたＲＧＢカラー画像データを得ることができる。

こうして得られたカラー画像データを用いて、カラー画像を出力する（ステップＳ２６２）。カラー画像を出力する態様としては、例えばモニタ画面上に表示する態様や、プリンタで印刷する態様など、種々の態様とすることができる。

続いて、出力されたカラー画像を確認して、合成前の画像を参照するか否かを、現像処理を行っている画像機器（例えば、パーソナルコンピュータやプリンタなど）に対して指定する。例えば、動きのある被写体を撮影して、被写体がぶれて映っていた場合などには、合成前の画像を参照する旨を指定する。すると、この指定を受け取った画像機器は、合成前の画像を参照する必要の有無を判断し（ステップＳ２６４）、合成前の画像を参照する必要がないと判断された場合は（ステップＳ２６４：ｎｏ）、図５のカラー画像出力処理を抜けて、図４の現像処理に復帰する。

これに対して、合成前の画像を参照する必要があると判断された場合は（ステップＳ２６４：ｙｅｓ）、参照する露光時間の画像を指定する（ステップＳ２６６）。すなわち、本実施例で扱うＪＰＥＧカラー画像データには、各露光時間で得られたカラー画像データが含まれており、ＪＰＥＧカラー画像データを展開することによって、短露光時間のカラー画像データ、中露光時間のカラー画像データ、長露光時間のカラー画像データがそれぞれ得られている。そこで、何れの露光時間のカラー画像データを参照するかを指定する。

続いて、指定された露光時間のカラー画像データについて、欠落した色成分を補間する（ステップＳ２６８）。すなわち、ＪＰＥＧカラー画像データを展開して得られた各露光時間の画像データは、個々の画素についてみればＲＧＢ何れか１つの色成分しか設定されていないモザイク状の画像データである。そこで、それぞれの画素についての欠落した色成分を、周辺の画素から補間して、ＲＧＢの各色成分が揃ったＲＧＢカラー画像データに変換する。そして、得られたＲＧＢカラー画像データに基づいて、例えばモニタ画面上や印刷媒体上などにカラー画像を出力した後（ステップＳ２７０）、図５のカラー画像出力処理を抜けて、図４の現像処理に復帰する。もちろん、こうして出力したカラー画像を確認して、別の露光時間の画像を指定可能としても良い。このように、本実施例では、ＪＰＥＧカラー画像データに、各露光時間で得られたカラー画像データが圧縮されているので、合成して得られた画像が満足のいく画像でなかった場合には、合成に用いた露光時間の画像の中から満足のいく画像を選択することが可能となっている。

図４に示したように、現像処理では、上述したカラー画像出力処理から復帰すると、他の画像を現像するか否かをユーザーに確認する（ステップＳ２０８）。そして、他の画像を現像する旨がユーザーによって指定された場合は（ステップＳ２０８：ｙｅｓ）、再びステップＳ２００に戻って、新たなＪＰＥＧカラー画像データを読み込んだ後、上述した一連の処理を行う。これに対して、他の画像を現像しない旨が指定された場合は（ステップＳ２０８：ｎｏ）、図４に示した現像処理を終了する。

以上に説明したように、本実施例の撮像装置１００を用いて画像を撮影すると、自動的に、短露光時間、中露光時間、長露光時間のカラー画像データが撮影されて、それらが１つのカラー画像データにまとめられて、圧縮された状態で出力される。各露光時間のカラー画像データは、ＲＧＢの各成分を有しているが、個々の画素について見れば何れか１成分しか設定されていないので、短中長の各露光時間で得られた３つのカラー画像データを合わせても、通常のＲＧＢカラー画像データ１つ分のデータ量に過ぎない。しかも、各露光時間で得られた３つのカラー画像データを、カラー画像データのＲ成分、Ｇ成分、Ｂ成分とみなした上で、１つのカラー画像データとして圧縮しているために、データ量は更に小さくなる。加えて、圧縮に際しても、ＪＰＥＧ圧縮などに用いられる既存の圧縮モジュールをそのまま用いることができるので、特別な部品を用いることなく、簡単に且つ迅速に圧縮することができる。その結果、露光時間の異なる３つのカラー画像データが含まれているにも拘わらず、通常のカラー画像データと同じような手軽さで、カラー画像データを出力することが可能となる。

また、このような、撮像装置１００を用いて撮影されたカラー画像データを現像する際には、先ず、圧縮されているカラー画像データを展開して、短露光時間、中露光時間、長露光時間のカラー画像データに分解する。３つのカラー画像データが１つの画像データに圧縮されているとは言え、圧縮の手法自体は一般的な方法を用いることができるので、カラー画像データの解凍に際しても、一般的な解凍モジュールを用いて、簡単に且つ迅速に行うことができる。その後、解凍して得られた短露光時間、中露光時間、長露光時間のカラー画像データを用いて、広い感度範囲を有する画像を合成する。このとき、被写体が動いていたために、ぶれた画像になってしまった場合でも、短中長の各露光時間の画像データがそのまま残っているので、その中から適切な画像データを使用すればよい。

このように本実施例の撮像装置１００では、被写体が動くなどしてぶれた画像になるか否かといったことを気にすることなく撮影することができる。このため、一般的な画像を撮影する場合と何ら異なることなく、広い感度範囲の画像を、簡単に撮影することが可能となる。

また、前述したように、本実施例の撮像装置１００では、短中長の各露光時間の画像データを圧縮する際に、短露光時間の画像データはＧ成分の画像データとみなし、中露光時間の画像データはＲ成分の画像データとみなし、長露光時間の画像データはＢ成分の画像データとみなして圧縮している。このようにしておけば、圧縮したカラー画像データを展開した後、そのままモニタに表示するだけでも、写っている画像の概要を確認することができる。このため、被写体がぶれて映っている画像を無駄に合成するといった事態を回避することが可能となる。

Ｄ．変形例 ：
上述した撮像装置１００には、幾つかの変形例が存在している。以下では、これら変形例の撮像装置１００について簡単に説明する。

Ｄ−１．第１の変形例 ：
上述した実施例では、短露光時間の画像データ、中露光時間の画像データ、長露光時間の画像データを、そのままＪＰＥＧ圧縮するものとして説明した。しかし、各露光時間の画像データは、ＲＧＢの各成分が、図２に示すようにモザイク状に配列されている画像データとなっている。当然、隣接する画素間で階調値が急激に変化しており、高周波数成分を多く含んだ画像データとなっている。ところが、ＪＰＥＧなどの圧縮技術では、高周波数成分は失われ易いので、短中長の各露光時間で得られた画像データを圧縮する際に、画質が悪化する可能性がある。そこで、各露光時間の画像データをそのまま圧縮するのではなく、同じ色成分同士が集まるように、画素位置を再配置した後、画像データを圧縮しても良い。

図７は、画素位置の再配置を行って同じ色成分の画素を集めた後に、画像データを圧縮する第１の変形例を示した説明図である。図示されているように、各露光時間の画像データは、Ｇ成分（およびｇ成分）の画素と、Ｒ成分の画素と、Ｂ成分の画素とが一定のパターンで配置されて構成されている。そこで、Ｇ成分の画素は画像の左上半分の領域に集めてやり、Ｂ成分の画素は右上半分の領域に集め、Ｒ成分の画素は左下半分の領域に、ｇ成分の画素は右下半分の領域に集めてやる。こうすれば、それぞれの領域では同じ色成分の画素が連続するので、画像の高周波数成分を大きく減少させることができる。そして、このように画素位置を再配置して得られた画像データに対して圧縮を行う。上述したように、画素位置の再配置を行うことで高周波数成分が大きく減少しているために、画質を劣化させることなく、画像データを圧縮することができる。

また、こうして圧縮された画像データを現像する際には、今度は、圧縮時と逆向きに画素位置の再配置を行えばよい。すなわち、圧縮された画像データを展開すると、図７に示した圧縮直前の画像データ（Ｇ成分、Ｂ成分、Ｒ成分、ｇ成分がそれぞれの領域に集められた画像データ）が得られる。そこで、各領域の画素を、圧縮時とは逆方向に再配置を行ってやれば、その後は、図４に示した現像処理と同様にして、カラー画像を現像することが可能となる。その結果、感度範囲が広く高画質なカラー画像を簡単に出力することが可能となる。

Ｄ−２．第２の変形例 ：
また、ＲＧＢの各色成分の中では、Ｇ成分が最も画質に大きな影響を与えることが知られている。このため圧縮技術では、できるだけＧ成分の情報が保存されるように圧縮される傾向がある。そこで、各露光時間の画像データから、Ｇ成分、Ｒ成分、Ｂ成分を集めた画像データを、それぞれカラー画像データのＧ成分、Ｒ成分、Ｂ成分として圧縮するようにしても良い。

図８は、各露光時間の画像データから成分毎に取り出した画像データを、カラー画像データのＧ成分、Ｒ成分、Ｂ成分として圧縮する第２の変形例を示した説明図である。図示した例では、先ず始めに、各露光時間の画像データ内で画素位置の再配置を行うことにより、Ｇ成分の画素、Ｂ成分の画素、Ｒ成分の画素、ｇ成分の画素をそれぞれの領域に集めておく。図８に示した例では、短露光時間の画像データは、図中でＧ_sと表示したＧ成分の画像データの領域と、Ｂ_sと表示したＢ成分の画像データの領域と、Ｒ_sと表示したＲ成分の画像データの領域とに再配置されている。中露光時間あるいは長露光時間の画像データについても同様に、図中でＧ_m、Ｂ_m、Ｒ_mと表示した各成分の領域、あるいは図中でＧ_l、Ｂ_l、Ｒ_lと表示した各成分の領域に再配置されている。

こうして各成分に再配置された各画像データから、Ｇ成分（すなわち、Ｇ_s、Ｇ_m、Ｇ_l）の領域のデータ、Ｒ成分（すなわち、Ｒ_s、Ｒ_m、Ｒ_l）の領域のデータ、Ｂ成分（すなわち、Ｂ_s、Ｂ_m、Ｂ_l）の領域のデータを抜き出して、それぞれ３つの画像データを生成する。そして、Ｇ成分を集めた画像データ、Ｒ成分を集めた画像データ、Ｂ成分を集めた画像データを、それぞれカラー画像データのＧ成分、Ｒ成分、Ｂ成分として圧縮する。

前述したように、Ｇ成分は、Ｒ成分やＢ成分よりも画質に大きな影響を与えることが知られており、このことと対応して、カラー画像データの圧縮は、Ｇ成分の情報ができるだけ保存されるように実行されることが多い。従って、短中長の各露光時間で得られた画像データの中から、画質に大きな影響を与えるＧ成分を抜き出して、カラー画像データのＧ成分として圧縮してやれば、圧縮に伴って失われる情報をできるだけ抑制した状態で画像データを圧縮することができる。

また、第２の変形例においても、圧縮された画像データを現像する際には、今度は、圧縮時と逆向きの処理を行えばよい。すなわち、圧縮された画像データを展開して得られるＧ成分の画像データは、短中長の各露光時間の画像データのＧ成分を集めた画像データとなっている。同様に、圧縮された画像データを展開して得られるＲ成分の画像データは、短中長の各露光時間の画像データのＲ成分を集めた画像データとなっており、圧縮された画像データを展開して得られるＢ成分の画像データは、短中長の各露光時間の画像データのＢ成分を集めた画像データとなっている。そこで、これらのＧ成分、Ｒ成分、Ｂ成分の画像データを、短露光時間の画像データ、中露光時間の画像データ、長露光時間の画像データに分配する。その結果、短露光時間の画像データ、中露光時間の画像データ、長露光時間の画像データが得られるので、その後は、図４に示した現像処理と同様にして、カラー画像を現像することが可能となる。各露光時間の画像データのＧ成分は、圧縮による情報の損失ができるだけ小さく抑制されており、しかも、Ｇ成分は他の色成分に比べて画質に大きく影響することから、感度範囲が広く高画質なカラー画像を出力することが可能となる。

尚、以上の説明では、短中長の各露光時間の画像データ内で画素位置の再配置を行って、Ｇ成分の画素、Ｂ成分の画素、Ｒ成分の画素、ｇ成分の画素を各領域に集めた画像データに変換した後、それらの画像データから、各成分のデータを集めるものとして説明した。しかし、画像データ内で画素位置の再配置を行うことなく、短中長の各露光時間の画像データから、Ｇ成分、Ｂ成分、Ｒ成分のデータを抜き出すことによって、各成分の画像データを直接生成することとしても良い。

以上、各種の撮像装置１００について説明したが、本発明は上記すべての実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

本実施例の撮像装置の大まかな構成を示した説明図である。 ＲＧＢの微細なカラーフィルタが所定の配置で並べられて構成されたカラーフィルタアレイを示した説明図である。 本実施例の撮像装置で画像の撮影時に行われる撮像処理の流れを示したフローチャートである。 本実施例の撮像装置で撮影されたカラー画像データを現像してカラー画像を出力する処理の流れを示したフローチャートである。 カラー画像出力処理の流れを示すフローチャートである。 短中長の各露光時間の画像を合成して広い感度範囲を有する合成画像を生成する様子を概念的に示した説明図である。 画素位置の再配置を行った後に画像データを圧縮する第１の変形例を示した説明図である。 各露光時間の画像データから成分毎の画像データを取り出した後に圧縮する第２の変形例を示した説明図である。

符号の説明

１０…光学系、 ２０…撮像部、 ２２…カラーフィルタアレイ、
２４…イメージセンサ、 ３０…画像処理部、 ３４…第１メモリ、
３５…第２メモリ、 ３６…第３メモリ、 ３８…画像圧縮部、
４０…画像出力部、 ４２…外部出力端子、 ４４…メモリカード、
１００…撮像装置

Claims (5)

1. 受光した光を電荷に変換して蓄積する複数の光電素子がマトリックス状に配列された撮像面上に、被写体の映像を露光させて、光の三原色を構成するＲ成分、Ｇ成分、Ｂ成分に対応した電荷量を読み出すことにより、該被写体のカラー画像を撮影する撮像装置であって、
   前記撮像面への露光時間を複数段階に異ならせて前記被写体を撮影することにより、該露光時間が互いに異なる第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを生成するカラー画像データ生成手段と、
   前記第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを１つのカラー画像データに合成することにより、合成カラー画像データを生成する合成カラー画像データ生成手段と、
   前記合成されたカラー画像データを出力するカラー画像データ出力手段と
   を備え、
   前記カラー画像データ生成手段は、前記撮像面上の前記光電素子毎に互いに異ならせて設定された前記Ｒ成分、Ｇ成分、Ｂ成分の何れか１成分に対応する電荷量を読み出すことにより、各画素がＲＧＢの何れか１成分を有する表現形式で、前記第１ないし第３のカラー画像データを生成する手段であり、
   前記合成カラー画像データ生成手段は、前記第１ないし第３のカラー画像データをそれぞれ単成分の画像データと読み替えて、１つのカラー画像データとして圧縮することにより、前記合成カラー画像データを生成する手段である撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記合成カラー画像データ生成手段は、前記第１ないし第３のカラー画像データの中で露光時間が最も短いカラー画像データをＧ成分、露光時間が最も長いカラー画像データをＢ成分、残余のカラー画像データをＲ成分の画像データと読み替えて、前記合成カラー画像データを生成する手段である撮像装置。
3. 請求項１または請求項２に記載の撮像装置であって、
   画素毎にＲＧＢの何れか１成分で表現されたカラー画像データを受け取ると、同じ成分同士が集まるように画素位置を再配置することによって、再配置カラー画像データに変換するカラー画像データ変換手段を備え、
   前記カラー画像データ生成手段は、前記第１ないし第３のカラー画像データを生成すると、前記カラー画像データ変換手段に供給する手段であり、
   前記合成カラー画像データ生成手段は、前記カラー画像データ変換手段によって画素位置が再配置された前記第１ないし第３のカラー画像データを受け取って、前記合成カラー画像データを生成する手段である撮像装置。
4. 請求項１ないし請求項３の何れか一項に記載の撮像装置であって、
   前記合成カラー画像データ生成手段は、前記第１ないし第３のカラー画像データの中からＧ成分の画素を集めてＧ成分の画像データを構成し、その他の成分の画素を集めてＲ成分の画像データおよびＢ成分の画像データを構成した後、該各成分の画像データから前記合成カラー画像データを生成する手段である撮像装置。
5. 受光した光を電荷に変換して蓄積する複数の光電素子がマトリックス状に配列された撮像面上に、被写体の映像を露光させて、光の三原色を構成するＲ成分、Ｇ成分、Ｂ成分に対応した電荷量を読み出すことにより、該被写体のカラー画像を撮影する撮像方法であって、
   前記撮像面への露光時間を複数段階に異ならせて前記被写体を撮影することにより、該露光時間が互いに異なる第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを生成する第１の工程と、
   前記第１のカラー画像データ、第２のカラー画像データ、および第３のカラー画像データを１つのカラー画像データに合成することにより、合成カラー画像データを生成する第２の工程と、
   前記合成されたカラー画像データを出力する第３の工程と
   を備え、
   前記カラー画像データを生成する第１の工程は、前記撮像面上の前記光電素子毎に互いに異ならせて設定された前記Ｒ成分、Ｇ成分、Ｂ成分の何れか１成分に対応する電荷量を読み出すことにより、各画素がＲＧＢの何れか１成分を有する表現形式で、前記第１ないし第３のカラー画像データを生成する工程であり、
   前記合成カラー画像データを生成する第２の工程は、前記第１ないし第３のカラー画像データをそれぞれ単成分の画像データと読み替えて、１つのカラー画像データとして圧縮することにより、前記合成カラー画像データを生成する工程である撮像方法。

Images