JP7497216B2 - 画像処理装置及び方法、撮像装置、プログラム、記憶媒体 - Google Patents

Description

本発明は、画素ごとに露光時間が制御可能な撮像センサーで取得した画像を符号化して記録する技術に関するものである。

従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷデータ）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化し、記録媒体に記録するのが一般的である。

一方、撮像センサーで得られた直後の現像未処理の撮像データ（ＲＡＷデータ）を記録媒体に格納する撮像装置もある。ＲＡＷデータを記録すると、撮像センサーからの色情報を損ねることなく豊富な色階調数を保ったままの状態で保存できるため、自由度の高い編集が可能である。しかし、ＲＡＷデータは記録データ量が膨大となるため、記録メディアに多くの空き領域を必要とするという問題がある。そのため、ＲＡＷデータにおいても圧縮符号化を行い、データ量を抑えて記録することが望まれる。

ところで、ハイダイナミックレンジ画像を取得するデバイスとして、特許文献１に開示されているように、同一平面上に露光時間が異なる画素を配置することにより、１度の撮影でダイナミックレンジの広い画像を取得できる撮像デバイスが知られている。特許文献１には、その撮像デバイスを使用した場合の、現像におけるハイダイナミックレンジ画像を生成する際の合成方法に関して開示されている。

特開２０１３－２１６６０号公報

しかしながら、上述の特許文献１に開示された従来技術では、合成前のＲＡＷデータを符号化する方法が開示されていない。

また、特許文献１に記載されているような撮像デバイスを用いた場合、合成前のＲＡＷデータを符号化しようとすると、同一平面上に配置された露光時間の異なる画素間でのレベル差が大きいため、高周波成分が多く発生して符号化効率が低下する。そのため、ＲＡＷデータを記録する際のデータ量が大きくなる課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、露光時間が異なる画素信号が混在したＲＡＷデータを符号化して記録する場合に、データ量を削減できるようにすることである。

本発明に係る画像処理装置は、画素ごとに異なる露光時間で撮影可能な撮像素子から得られた、第１の露光時間に対応するＲＡＷデータと、前記第１の露光時間よりも長い第２の露光時間に対応するＲＡＷデータとから、複数のＲＡＷデータを生成する生成手段と、前記生成手段により生成された複数のＲＡＷデータを符号化する符号化手段と、を備え、前記生成手段は、前記第１の露光時間と前記第２の露光時間のうちの一方に対応するＲＡＷデータにゲインをかけたＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとの差分から差分ＲＡＷデータを生成し、前記符号化手段は、前記差分ＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとを符号化することを特徴とする。

本発明によれば、露光時間が異なる画素信号が混在したＲＡＷデータを符号化して記録する場合に、データ量を削減することが可能となる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラの機能構成を示すブロック図。 撮像部の画素配列を示す図。 撮像部の画素配列及び露光時間の設定を示す図。 第１の実施形態におけるＲＡＷデータの分離方法を示す図。 第１の実施形態におけるＲＡＷデータの分離方法を示す図。 第１の実施形態におけるＲＡＷデータの分離方法を示す図。 第１の実施形態におけるＲＡＷデータの分離方法を示す図。 画素の露光時間が同一の場合におけるＲＡＷデータ出力を示す図。 ＲＡＷ符号化部の構成を示すブロック図。 周波数変換（サブバンド分割）の例を示す図。 量子化パラメータを生成する単位の例を示す図。 量子化パラメータの生成の例を示す図。 量子化パラメータの生成の例を示す図。 量子化パラメータの生成の例を示す図。 第２の実施形態におけるＲＡＷデータの分離方法を示す図。 第３の実施形態におけるＲＡＷデータの分離方法を示す図。 第４の実施形態における画素配列及び露光時間の設定を示す図。 第４の実施形態における画素配列の置き換えを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラ１００の機能構成を示すブロック図である。デジタルカメラ１００は、撮像部１０１、分離部１０２、ＲＡＷ符号化部１０３、記録処理部１０４、記録媒体１０５、メモリＩ／Ｆ（メモリインターフェース）１０６、メモリ１０７を備えて構成される。

撮像部１０１は、光学レンズ、絞り、フォーカス制御部及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、光電変換素子を有する画素が２次元的に複数配列されたイメージセンサ（撮像素子）とを含む。

イメージセンサは、レンズ光学系により結像された被写体像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（画素データ、ＲＡＷデータ）を出力する。イメージセンサには、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどが用いられる。

なお、本実施形態においては、イメージセンサの各画素に、図２に示すようにＲ（赤）、Ｇ１／Ｇ２（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。なお、撮像部１０１から出力されるＲＡＷデータは、メモリＩ／Ｆ１０６を介してメモリ１０７に格納される。

分離部１０２は、撮像部１０１で取得したＲＡＷデータを露光時間ごとのＲＡＷデータに分離する回路またはモジュールである。メモリ１０７に格納されているＲＡＷデータをメモリＩ／Ｆ１０６を介して読み出して、露光時間ごとのＲＡＷデータに分離してＲＡＷ符号化部１０３へ出力する。

ＲＡＷ符号化部１０３は、ＲＡＷデータに対する演算を行う回路またはモジュールであり、分離部１０２から入力されたＲＡＷデータを符号化する。ＲＡＷ符号化部１０３は、符号化によって生成した符号化データを、メモリＩ／Ｆ１０６を介してメモリ１０７に格納する。

記録処理部１０４は、メモリ１０７へ格納された符号化データ等の各種データを、メモリＩ／Ｆ１０６を介して読み出し、記録媒体１０５へ記録する。記録媒体１０５は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。

メモリＩ／Ｆ１０６は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０７に対する読み出し・書き込み制御を行う。メモリ１０７は、例えばＳＤＲＡＭなどの揮発性メモリであり、記憶手段として動作する。メモリ１０７は、上述の画像データ、音声データ等の各種のデータ、あるいはデジタルカメラ１００を構成する各処理部から出力される各種データを格納するための記憶領域を提供する。

次に、撮像部１０１の画素の配列構造について、図２を参照して説明する。図２に示すように、撮像部１０１には、２×２画素ごとにＲ画素、Ｇ１画素、Ｇ２画素、Ｂ画素が配列されており、同一の色が２×２画素ごとに配列されているのが特徴である。撮像部１０１は、これらの計４×４画素を最小単位として、この最小単位を繰り返し配列した構造を有する。

図２に示す画素配列構造を有し、画素ごとに露光時間を制御可能（画素ごとに異なる露光時間で撮影可能）な撮像素子における露光時間の設定について、図３を参照して説明する。図３に示すように、水平方向をｘ、垂直方向をｙとして、列番号をｘ座標で表し、行番号をｙ座標で表している。括弧で示した数字はイメージセンサ上の各画素の位置を示す座標を示している。また、白色の画素が短時間露光画素、灰色の画素が長時間露光画素を表している。本実施形態においては、図３に示すように列方向にジグザグ状に短時間露光を行う短時間露光画素と長時間露光を行う長時間露光画素が設定されている。

例えば、図３の左上端の４つのＲ画素の露光時間の設定は以下のとおりである。Ｒ（１，１）は短時間露光画素、Ｒ（２，１）は長時間露光画素、Ｒ（１，２）は長時間露光画素、Ｒ（２，２）は短時間露光画素となっている。このように、各列において短時間露光画素と長時間露光画素が交互に設定され、また各行に短時間露光画素と長時間露光画素が交互に設定されている。第１列と、第２列においてｙ方向に短時間露光画素のみを辿ると、上から第１行では第１列が短時間露光画素、第２行では第２列が短時間露光画素、第３行では第１列が短時間露光画素、第４行では第２列が短時間露光画素となっている。同様に、第１列と、第２列においてｙ方向に長時間露光画素のみを辿ると、上から第１行では第２列が長時間露光画素、第２行では第１列が長時間露光画素、第３行では第２列が長時間露光画素、第４行では第１列が長時間露光画素となっている。

以上のように、画素配列構造とその露光時間の設定は、同一色の画素が２×２画素単位で設定され、この４画素中に２つの短時間露光画素（２種類の露光時間の一方）と２つの長時間露光画素（２種類の露光時間の他方）が配置されている構造となっている。

ここで、撮像部１０１でＲＡＷデータを取得したまま、すなわち露光時間の異なる画素が混在したまま符号化しようとすると、露光時間が異なる画素間でのレベル差が大きいため、高周波成分が多く発生しＲＡＷデータの記録データ量が大きくなってしまう。そこで本実施形態では、分離部１０２で露光時間ごとのＲＡＷデータに分離して、画素間のレベルを合わせ高周波成分を抑制することでＲＡＷデータの記録データ量を削減する。

次に、その分離方法に関して、図４Ａ～図４Ｄを参照して説明する。分離部１０２は、図４Ａ～図４Ｄに示すように、撮像部１０１から入力されるＲＡＷデータを、短時間露光画素のみで構成されるベイヤー配列構造のＲＡＷデータと、長時間露光画素のみで構成されるベイヤー配列構造のＲＡＷデータとにそれぞれ分離し、ＲＡＷ符号化部１０３へ出力する。

具体的には、短時間露光画素のみで構成されるＲＡＷデータを、図４ＡのＲＡＷデータ４０１ａと図４ＢのＲＡＷデータ４０１ｂで示す、２面の短時間露光ＲＡＷデータに分離する。ＲＡＷデータ４０１ａは、図４Ａに示すように、奇数行・奇数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光ＲＡＷデータである。また、ＲＡＷデータ４０１ｂは、図４Ｂに示すように、偶数行・偶数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光ＲＡＷデータである。

同様にして、長時間露光画素のみで構成されるＲＡＷデータを、図４ＣのＲＡＷデータ４０１ｃと図４ＤのＲＡＷデータ４０１ｄで示す、２面の長時間露光ＲＡＷデータに分離する。ＲＡＷデータ４０１ｃは、図４Ｃに示すように、奇数行・偶数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光ＲＡＷデータである。また、ＲＡＷデータ４０１ｄは、図４Ｄに示すように、偶数行・奇数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光ＲＡＷデータである。ＲＡＷ符号化部１０３は、分離部１０２からベイヤー配列状に入力されるＲＡＷデータ４０１ａ，４０１ｂ，４０１ｃ，４０１ｄをそれぞれ符号化する。

なお、ここまでは、図２の画素配列を用いて、同一平面上に配置される画素の露光時間が異なる場合の分離部１０２の分離方法について説明したが、次に、画素の露光時間を全て同じにした場合の分離部１０２の処理に関して、図５を参照して説明する。

この場合、分離部１０２は、撮像部１０１で取得したＲＡＷデータに対して、図５に示すように、灰色で示したひし形で囲った同一の色成分４画素ごとの画素平均値を算出して、ＲＡＷデータ５０１を構成し、ＲＡＷ符号化部１０３へ出力する。具体的には、以下の式１～式４に示すように同色成分ごとの加算平均を算出して分離を行う。

続いて、短時間露光ＲＡＷデータ４０１ａ，４０１ｂと、長時間露光ＲＡＷデータ４０１ｃ，４０１ｄに対して処理を行うＲＡＷ符号化部１０３の詳細な構成及び処理の流れについて、図６に示すブロック図を参照しながら説明する。

ＲＡＷ符号化部１０３は、チャネル変換部６０１、周波数変換部６０２、量子化パラメータ生成部６０３、量子化部６０４、符号化部６０５、量子化パラメータ符号化部６０６を備えて構成されている。

チャネル変換部６０１は、分離部１０２から入力されるベイヤー配列状のＲＡＷデータを複数のチャネルに変換する。例えば、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂ毎に４つのチャネルへ変換する。あるいは、Ｒ、Ｇ１、Ｇ２、Ｂに対して更に以下の変換式５～８により４つのチャネルへ変換する。

Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４ 式５
Ｃ０＝Ｒ－Ｂ 式６
Ｃ１＝（Ｇ０＋Ｇ１）／２－（Ｒ＋Ｂ）／２ 式７
Ｃ２＝Ｇ０－Ｇ１ 式８
なお、ここでは４つのチャネルへ変換する構成例を示しているが、チャネル数や変換方法は上記以外の方法であってもよい。

周波数変換部６０２は、チャネル単位に所定の分解レベル（以降、ｌｅｖと呼ぶ）で離散ウェーブレット変換による周波数変換処理を行い、生成されたサブバンドデータ（変換係数）を量子化パラメータ生成部６０３及び量子化部６０４へ出力する。

図７（ａ）は、ｌｅｖ＝１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンクの構成を示している。離散ウェーブレット変換処理を水平、垂直方向に実行すると、図７（ｂ）に示すように１つの低周波数サブバンド（ＬＬ）と、３つの高周波数サブバンド（ＨＬ，ＬＨ，ＨＨ）へ分割される。

図７（ａ）に示すローパスフィルタ（以降、ｌｐｆと呼ぶ）及びハイパスフィルタ（以降、ｈｐｆと呼ぶ）の伝達関数をそれぞれ式９、式１０に示す。

ｌｐｆ（ｚ）＝（－ｚ^-2＋２ｚ^-1＋６＋２ｚ¹－ｚ²）／８ 式９
ｈｐｆ（ｚ）＝（－ｚ^-1＋２－ｚ¹）／２ 式１０
ｌｅｖが１よりも大きい場合には、低周波数サブバンド（ＬＬ）に対して階層的にサブバンド分割が実行される。なお、ここでは離散ウェーブレット変換は、式９、式１０に示されるように、５タップのｌｐｆと３タップのｈｐｆで構成されているが、これとは異なるタップ数及び異なる係数のフィルタ構成であってもよい。

量子化パラメータ生成部６０３は、周波数変換部６０２により生成されたサブバンドデータ（変換係数）に対してある所定のサブバンドデータ単位ごとに量子化処理を行うための量子化パラメータを生成する。生成した量子化パラメータは、量子化パラメータ符号化部６０６へ入力されると共に量子化部６０４へも供給される。

量子化部６０４は、周波数変換部６０２から出力されたサブバンドデータ（変換係数）に対して量子化パラメータ生成部６０３から供給された量子化パラメータに基づき量子化処理を行い、量子化後のサブバンドデータ（変換係数）を符号化部６０５へ出力する。

符号化部６０５は、量子化部６０４から出力された量子化後のサブバンドデータ（変換係数）に対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行い、生成した符号化ＲＡＷデータをメモリ１０７へ格納する。なお、予測方式やエントロピー符号化方式は、他の方式であってもよい。

量子化パラメータ符号化部６０６は、量子化パラメータ生成部６０３から入力された量子化パラメータに対して符号化を行う処理部である。符号化部６０５と共通の符号化方式により量子化パラメータを符号化し、生成した符号化量子化パラメータをメモリ１０７へ格納する。

次に、上述した所定のサブバンドの単位を４×４として量子化パラメータを生成する場合のサブバンドデータとチャネルデータ及びＲＡＷデータの関係を図８を参照して説明する。

４×４のサブバンドは、図８に示すように各チャネルの８×８画素相当に対応し、また各ＲＡＷデータの１６×１６画素相当のブロックに対応する。よって、この場合には、量子化パラメータを、短時間露光ＲＡＷデータ４０１ａ，４０１ｂ及び長時間露光ＲＡＷデータ４０１ｃ，４０１ｄにおいて、それぞれ１６×１６画素相当のＲＡＷデータブロックごとにメモリ１０７へ格納することが必要となる。

なお、量子化パラメータのデータ量を削減するためには、短時間露光ＲＡＷデータ４０１ａ，４０１ｂと長時間露光ＲＡＷデータ４０１ｃ，４０１ｄを共通の量子化パラメータとすることが有効である。この場合は、データ量を１／２に削減することができる。また、本実施形態では、さらにデータ量を削減すべく、適正露出に近い方の露光時間で生成された量子化パラメータを基準として、もう片方の量子化パラメータを算出する。これにより、量子化パラメータのデータ量を１／４に削減することができる。ここで、適正露出に近い方を基準とするのは、白とびや黒つぶれが発生している露出過多及び露出不足の画像では、被写体の正確な特徴に応じた量子化パラメータの生成ができないためである。

具体例として、短時間露光の方を適正露出に近いとする場合、短時間露光ＲＡＷデータで生成した量子化パラメータを基準として、長時間露光ＲＡＷデータの量子化パラメータを算出するための計算式を式１１に示す。

Ｌ＿Ｑｐ＝α×Ｓ＿Ｑｐ＋β 式１１
ここで、
Ｌ＿Ｑｐ：長時間露光ＲＡＷデータの量子化パラメータ
Ｓ＿Ｑｐ：短時間露光ＲＡＷデータの量子化パラメータ
α：傾き
β：切片
である。

なお、本実施形態では、短時間露光ＲＡＷデータで生成した量子化パラメータを基準として、長時間露光ＲＡＷデータの量子化パラメータを算出している。しかし、長時間露光ＲＡＷデータで生成した量子化パラメータを基準として短時間露光ＲＡＷデータの量子化パラメータを生成してもよい。また、短時間露光と長時間露光のどちらも基準とせずに、短時間露光と長時間露光のそれぞれでα、βを設定して、量子化パラメータを算出してもよい。

次に、式１１に示したα、βの決定方法に関して説明する。α，βは任意の値でもよいが、本実施形態では詳細なパラメータの決定方法について説明する。上述した例のように、短時間露光の方を適正露出に近いとした場合、長時間露光では短時間露光と比較して露光時間が長いため露出過多となる。よって、短時間露光で明るさが中位から明部の領域に関しては、長時間露光では画素値が飽和レベルに達して被写体の明るさに応じた画素値出力ができなくなっている可能性が高くなる。一方で、暗部領域に関しては短時間露光より詳細な情報を取得することが可能となる。そのため、長時間露光ＲＡＷデータの量子化パラメータは、短時間露光ＲＡＷデータにおいて明るさが中位から明部と判定された領域に関しては短時間露光と比較して大きくする。また、暗部と判定された領域に関しては同じにすることにより、画質を担保しながら量子化パラメータのデータ量を削減することが可能となる。

具体的に、図９Ａ～図９Ｃを参照して説明する。図９Ａは、短時間露光ＲＡＷデータにおける、短時間露光ＲＡＷデータの明るさに応じた量子化パラメータの設定の一例を示している。また、図９Ｂは、長時間露光ＲＡＷデータにおける、短時間露光ＲＡＷデータの明るさに応じた量子化パラメータ設定の一例を示している。なお、明るさの指標としては、上述した量子化パラメータ生成単位に対応する１ＬＬサブバンドを用いて評価してもよい。それぞれの量子化パラメータの大小関係を、式１２～式１４に示す。

Ｑ０＜Ｑ１＜Ｑ２ 式１２
Ｑ１＜Ｑ３ 式１３
Ｑ２＜Ｑ４ 式１４
まず、短時間露光ＲＡＷデータにおける量子化パラメータは、視覚特性を考慮して、暗部ほど量子化パラメータが小さくなるように設定する（Ｑ０＜Ｑ１＜Ｑ２）。これに対し、長時間露光ＲＡＷデータでは、短時間露光ＲＡＷデータの暗部に対応する領域では短時間露光ＲＡＷデータと同じＱ０となるように、中位から明部に対応する領域では短時間露光ＲＡＷデータよりも量子化パラメータが大きくなるように（Ｑ１＜Ｑ３、Ｑ２＜Ｑ４）設定する。

図９Ｃは、短時間露光ＲＡＷデータで生成した量子化パラメータを基準として、長時間露光ＲＡＷデータの量子化パラメータを算出するためのグラフを示している。横軸は、短時間露光ＲＡＷデータの量子化パラメータ（Ｓ＿Ｑｐ）を、縦軸は長時間露光ＲＡＷデータの量子化パラメータ（Ｌ＿Ｑｐ）を表している。式１１に示したα、βは式１２～式１４の関係となるように設定すればよい。

なお、α、βは符号化データと同様、メモリ１０７へ格納され、メモリＩ／Ｆ１０６を介して記録媒体１０５に符号化データと共に記録される。また、基準とする量子化パラメータを短時間露光と長時間露光のどちらにするかを示すフラグをメモリ１０７へ格納し、メモリＩ／Ｆ１０６を介して記録媒体１０５に符号化データと共に記録する。ただし、短時間露光及び長時間露光のどちらも基準とせずにそれぞれの露光時間でα、βを持つ場合は、フラグを持たなくてよい。

また、上述したいずれの場合にも対応する場合は、まず基準とする露光時間を持つか否かを示すフラグを持ち、次に基準とする露光時間がある場合は短時間露光と長時間露光のどちらを基準としたかを示すフラグを持てばよい。この場合も、それぞれのフラグ情報をメモリ１０７へ格納し、メモリＩ／Ｆ１０６を介して記録媒体１０５に符号化データと共に記録する。

以上説明したように、本実施形態では、分離部１０２で露光時間ごとにＲＡＷデータを分離して、符号化する画素間のレベル差をなくし、高周波成分を抑制することにより、ＲＡＷデータの記録データ量を削減することが可能になる。また、片方のＲＡＷデータで算出した量子化パラメータを基準として、露光時間の異なるもう片方の量子化パラメータを決定することにより、ＲＡＷデータの記録データ量を削減することが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態では、分離部１０２におけるＲＡＷデータの分離方法が第１の実施形態と異なる。なお、第２の実施形態のデジタルカメラの構成は、第１の実施形態と同一であるため、重複する説明は省略し、相違点について説明する。

第１の実施形態では、分離部１０２において露光時間の同じ画素ごとに分離したＲＡＷデータ、具体的には短時間露光画素のみで構成されるＲＡＷデータ２面と、長時間露光画素のみで構成されるＲＡＷデータ２面を、ＲＡＷ符号化部１０３へ出力した。

これに対し、第２の実施形態では、さらにデータ量を削減するために、分離部１０２において、近傍にある同露光時間かつ同一色成分の画素値を加算し、その平均画素値を算出してＲＡＷ符号化部１０３へ出力する方法について説明する。

本実施形態における分離部１０２の処理について、図１０を参照して説明する。撮像部１０１から入力される露光時間が異なる画素が混在するＲＡＷデータに対して、分離部１０２は図１０（ａ）に示す長方形で囲った画素、すなわち短時間露光画素かつ同一色成分の画素値の加算平均を算出し、短時間露光ＲＡＷデータ１００１ａに分離する。具体的には、以下の式１５～式１８に示すように、同色成分ごとの加算平均を算出して分離を行う。

同様に、図１０（ｂ）に示す長方形で囲った画素である長時間露光画素かつ同一色成分の画素同士を加算平均して長時間露光ＲＡＷデータ１００１ｂに分離する。具体的には、以下の式１９～式２２に示すように同色成分ごとの加算平均を算出して分離を行う。

以上説明したように、第２の実施形態では、撮像部１０１で取得したＲＡＷデータを分離部１０２で加算平均して分離することにより、ＲＡＷ符号化部１０３へ出力するデータ量を第１の実施形態と比較して１／２に削減することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、分離部１０２におけるＲＡＷデータの分離方法が、第１の実施形態及び第２の実施形態と異なる。なお、本実施形態のデジタルカメラの構成は、第１の実施形態及び第２の実施形態と同一であるため、重複する説明は省略し、相違点について説明する。

第２の実施形態では、分離部１０２において、近傍にある同露光時間画素かつ同一色成分同士の加算平均を算出してＲＡＷ符号化部１０３へ出力した。第３の実施形態では、第２の実施形態と比べてさらにデータ量を削減するために、片方の露光時間に合わせて、もう片方の露光時間のＲＡＷデータに対してゲインを掛けて、その差分値をＲＡＷ符号化部１０３へ出力する。つまり、ＲＡＷ符号化部１０３は、一方の露光時間については加算平均のＲＡＷデータを符号化し、他方の露光時間については差分値のＲＡＷデータ（差分ＲＡＷデータ）を符号化する。

図１１を参照して、本実施形態における分離部１０２における処理について説明する。まず、分離部１０２は第２の実施形態と同様、図１０（ａ）と図１０（ｂ）に示すように、近傍にある同露光時間かつ同一色成分の画素同士を加算し、その平均を算出してＲＡＷデータ１００１ａ，１００１ｂを取得する。続いて、長露光ＲＡＷデータ１００１ｂの１行目と、短露光ＲＡＷデータ１００１ａの１行目に対して長露光ＲＡＷデータに対応したゲインγを乗算し、かつオフセットεを加算したものとの差分値を取得する。このとき、ゲインγ及びオフセットεは、予め露光時間から逆算して決定してもよいし、取得した短時間露光画素と長時間露光画素のヒストグラム等を用いて決定してもよい。

具体的には、以下の式２３～式２６に示すように１行目の差分を算出する。

これを１行目だけでなく、２行目、３行目、４行目についても同様に行い、算出した差分値をＲＡＷ符号化部１０３へ出力する。なお、本実施形態では短時間露光ＲＡＷデータに対して補正を行っているが、長時間露光ＲＡＷデータに対して補正を行ってもよい。ただし、丸め処理の観点から考えると、短時間露光ＲＡＷデータに対してゲインγを掛けて差分を算出した方が差分値の精度は高まる。

以上説明したように、第３の実施形態では、ＲＡＷデータをそのままＲＡＷ符号化部１０３へ出力するのではなく、差分値として出力することにより、第２の実施形態と比べてさらにＲＡＷデータの記録データ量を削減することが可能となる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。第４の実施形態では、撮像部１０１に、第１乃至第３の実施形態とは異なる画素配列、具体的には図１２に示す画素配列を適用する。

上述した第１乃至第３の実施形態では、図２に示すＲ、Ｇ１、Ｇ２、Ｂの４つの異なる画素からなる４×４の１６画素を最小単位として、この最小単位を繰り返して配置した構造の撮像部１０１について説明した。

これに対し、図１２は、第４の実施形態における撮像部１０１の画素配列及び露光時間の設定を示している。水平方向をｘ、垂直方向をｙとして、列番号をｘ座標で表し、行番号をｙ座標で表している。括弧で示した数字はイメージセンサ上の各画素の位置の座標を示している。また、白色の画素が短時間露光画素、灰色の画素が長時間露光画素を表している。このように、図１２では、Ｒ、Ｇ１、Ｇ２、Ｂの配列からなるベイヤー配列の画素配列において、２列単位で短時間露光画素と長時間露光画素が交互に設定されている。

図１２の画素配列及び露光時間の設定においても、図１３に示すように図２に示す画素配列構造に置き換えて処理を行うことにより、第１乃至第３の実施形態で説明した処理を行うことができる。

以上説明したように、第４の実施形態では、画素配列を変更しても、第１乃至第３の実施形態で説明した処理と同様のことが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像部、１０２：分離部、１０３：ＲＡＷ符号化部、１０４：記録処理部、１０５：記録媒体、１０６：メモリインターフェース、１０７：メモリ

Claims (16)

1. 画素ごとに異なる露光時間で撮影可能な撮像素子から得られた、第１の露光時間に対応するＲＡＷデータと、前記第１の露光時間よりも長い第２の露光時間に対応するＲＡＷデータとから、複数のＲＡＷデータを生成する生成手段と、
   前記生成手段により生成された複数のＲＡＷデータを符号化する符号化手段と、
   を備え、
   前記生成手段は、前記第１の露光時間と前記第２の露光時間のうちの一方に対応するＲＡＷデータにゲインをかけたＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとの差分から差分ＲＡＷデータを生成し、
   前記符号化手段は、前記差分ＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとを符号化することを特徴とする画像処理装置。
2. 前記生成手段は、露光時間ごとのベイヤー配列構造のＲＡＷデータを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第１の露光時間に対応するＲＡＷデータにゲインをかけたＲＡＷデータと、前記第２の露光時間に対応するＲＡＷデータとの差分から差分ＲＡＷデータを生成し、
   前記符号化手段は、前記差分ＲＡＷデータと、前記第２の露光時間に対応するＲＡＷデータとを符号化することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記第１の露光時間の同一色成分の複数の画素データを加算することにより、前記第１の露光時間に対応する１つのＲＡＷデータを生成し、前記第２の露光時間の同一色成分の複数の画素データを加算することにより、前記第２の露光時間に対応する１つのＲＡＷデータを生成し、前記第１の露光時間と前記第２の露光時間のうちの一方に対応する前記生成した１つのＲＡＷデータにゲインをかけたＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応する前記生成した１つのＲＡＷデータとの差分から差分ＲＡＷデータを生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記生成手段は、複数の画素データの加算平均を算出することにより、前記第１の露光時間に対応する１つのＲＡＷデータ及び前記第２の露光時間に対応する１つのＲＡＷデータを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記ゲインは、露光時間に応じて決定されることを特徴とする請求項１に記載の画像処理装置。
7. 前記ゲインは、前記第１の露光時間の画素と前記第２の露光時間の画素のヒストグラムに応じて決定されることを特徴とする請求項１に記載の画像処理装置。
8. 前記生成手段は、前記第１の露光時間と前記第２の露光時間のうちの一方に対応するＲＡＷデータにゲインを乗算してかつ所定のオフセットを加算したＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとの差分から差分ＲＡＷデータを生成する、ことを特徴とする請求項１に記載の画像処理装置。
9. 前記撮像素子の画素ごとの露光時間を制御する制御手段を有し、
   前記生成手段は、前記画素ごとの露光時間が異なる場合は、前記複数のＲＡＷデータを生成し、前記画素ごとの露光時間が同一の場合は、１つのＲＡＷデータを生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記生成手段は、前記画素ごとの露光時間が同一の場合は、近傍の同一色の画像データの平均値を算出することにより、１つのＲＡＷデータを生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記符号化手段は、前記第１の露光時間と前記第２の露光時間のうちの一方に対応するＲＡＷデータの量子化パラメータを基準として、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータの量子化パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
12. 前記符号化手段は、前記第１の露光時間に対応するＲＡＷデータの量子化パラメータを基準として、前記第２の露光時間に対応するＲＡＷデータの量子化パラメータを決定することを特徴とする請求項１１に記載の画像処理装置。
13. 画素ごとに露光時間を制御可能な撮像素子と、
    請求項１乃至１２のいずれか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
14. 画素ごとに異なる露光時間で撮影可能な撮像素子から得られた、第１の露光時間に対応するＲＡＷデータと、前記第１の露光時間よりも長い第２の露光時間に対応するＲＡＷデータとから、複数のＲＡＷデータを生成する生成工程と、
    前記生成工程において生成された複数のＲＡＷデータを符号化する符号化工程と、
    を有し、
    前記生成工程では、前記第１の露光時間と前記第２の露光時間のうちの一方に対応するＲＡＷデータにゲインをかけたＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとの差分から差分ＲＡＷデータを生成し、
    前記符号化工程では、前記差分ＲＡＷデータと、前記第１の露光時間と前記第２の露光時間のうちの他方に対応するＲＡＷデータとを符号化することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images