JP2004336264A - Image recording device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recording device which can secure empty capacity in a recording medium and increase the number of recordable photographed images without losing the invaluable recorded images. <P>SOLUTION: An imaging device 51 having main photosensitive pixels which have relatively high sensitivity and auxiliary photosensitive pixels which have relatively low sensitivity is mounted on a camera 50. An image recording part 52 can record a RAW image where the image information of a low luminance part which is obtained with the main photosensitive pixels and the image information of a high luminance part which is obtained with the auxiliary photosensitive pixels are recorded without processing. A user confirms the content of the recorded image on the display part 52 and designates the RAW image by using a RAW image selection key 65. When a compression re-recording key 66 is depressed after designation, only the information of the low luminance part in the RAW image related to designation is compressed, and the compressed image is recorded again in the image recording part 52. Information of the high luminance part and information of the low luminance part in the original RAW image related to the designation are deleted from the image recording part 52 in accordance with compression re-recording processing. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は画像記録装置に係り、特に広ダイナミックレンジ画像の記録が可能なデジタルスチルカメラなどに好適な画像記録処理技術であって、ＣＣＤなどの撮像素子から出力された生のデータ（ＲＡＷデータ）をそのまま記録するＲＡＷデータ記録機能に利用される技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ（ＤＳＣ）は、撮像素子が捉えた画像情報に対して色々な処理を加え、好ましい画像にした後記録する。記録媒体の記憶容量は限られているので、画像を圧縮し、データ量を少なくしてから記録するのが一般的である。これに対し、画像処理を自分なりの手法で行いたいと考えるユーザのために、撮像素子が捉えた画像情報に処理を加えない、いわゆるＲＡＷ画像を記録できるようにしたＤＳＣも一部には存在する。このＲＡＷ画像記録は圧縮処理を加えないので、画像データ量が大きくなってしまうという問題がある。
【０００３】
一方、特許文献１に記載されているように、一つの画素に感度の異なる第一と第２の撮像セルが構成された撮像素子を備えたカメラも提案されている。これは、シーンの低輝度の情報を高感度の撮像セルで捉えると同時に、高輝度部の情報を低感度の撮像セルで捉え、これら二種類の撮像セルの信号を合成して輝度レンジの広い画像を得るという特徴を有している。
【０００４】
また、特許文献２には、一旦撮影を行い、記録メディアに記録された画像を読み出して、異なる圧縮率で再記録できるデジタルスチルカメラが開示されている。このカメラによれば、記録メディアの残量が少なくなったときに記録できる画像数（枚数）を増やすことができる。
【０００５】
【特許文献１】
特公平８−３１９８８号公報
【０００６】
【特許文献２】
特開平９−３２２１１０号公報
【０００７】
【発明が解決しようとする課題】
特許文献１に記載されている高感度の撮像セルと低感度の撮像セルとを備えた撮像素子を用いるカメラの場合も、撮像素子が捉えた画像情報に処理を加えないＲＡＷ画像を記録しておき、撮影後にユーザが個別に色々な画像処理を加えることができるような構成にすることも考えられる。ただし、この場合、高感度の撮像セルで捉えた画像（高感度撮像画）と低感度の撮像セルで捉えた画像（低感度撮像画）との両方をＲＡＷ記録することになるので、画像データ量が更に大きいものになる。したがって通常の圧縮記録を行ったときに比べ、記録メディアに記録できる枚数は更に少なくなる。
【０００８】
例えば、屋外で撮影中、予備の記録メディアがなくなり、かつ使用中のメディアの残量が少なくなったときには、ユーザは記録メディアに記録されている画像を消去しようとするであろう。しかし、それらの画像が貴重なシャッタチャンスを捉えたものであるならば、ユーザは消去することをためらい、或いは、消去をやめ、新たな撮影を断念するかもしれない。
【０００９】
本発明はこのような事情に鑑みてなされたもので、記録済みの画像を失うことなく、記録メディアの空き容量を確保して記録可能な撮影枚数を増やすことができる画像記録装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像記録装置は、被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、前記第１の撮像手段により取得された低輝度部の画像情報及び前記第２の撮像手段により取得された高輝度部の画像情報にそれぞれ処理を加えないＲＡＷ画像を記録部に記録するＲＡＷ画像記録処理手段と、前記記録部に記録されたＲＡＷ画像のうち所望の画像を選択するための選択操作手段と、前記選択操作手段で選択されたＲＡＷ画像の低輝度部のデータを圧縮する圧縮手段と、前記圧縮手段により生成された低輝度部の圧縮画像を前記記録部に記録する再記録処理手段と、前記再記録処理手段により前記圧縮画像の記録が行われると、前記選択に係る元のＲＡＷ画像の低輝度部及び高輝度部のデータを前記記録部から消去する消去処理手段と、を備えていることを特徴とする。
【００１１】
本発明の画像記録装置は、第１及び第２の撮像手段を介して撮像した画像の処理前のＲＡＷデータ（ＲＡＷ画像）を記録部に記録することができる。ユーザは選択操作手段を利用して記録済みの画像の中から所望のＲＡＷ画像を少なくとも１つ指定することができる。指定されたＲＡＷ画像の高輝度部及び低輝度部の情報のうち低輝度部の情報を圧縮して圧縮画像を作成し、これを記録部に再記録する。
【００１２】
このときの再記録については、指定に係るＲＡＷ画像の低輝度部のみの情報を圧縮記録する態様の他、必要に応じて高輝度部の圧縮再記録の有無をユーザに選択させる構成とし、ユーザの選択に応じて高輝度部についても圧縮して再記録する態様も可能である。
【００１３】
また、圧縮後の再記録処理に伴い、指定に係る元のＲＡＷ画像の高輝度部及び低輝度部の両方の情報が記録部から消去される。
【００１４】
これにより、記録部の空き容量を増加させることができ、撮影記録可能枚数を増やすことができる。したがって、限られた容量の記録部を有効に活用して、貴重な記録済み画像を残しつつ、新たな撮影チャンスにも対応できる。
【００１５】
本発明では、圧縮再記録の処理を実行することによって、ＲＡＷ画像の高輝度部の情報は失われてしまうことになるが、例えば、曇天時に黒っぽい服装を身につけた人物を黒い壁の前で撮影したシーンのように、高輝度部の情報量が少ない場合は、この高輝度部の情報を削除しても最終画像には影響が小さいと考えられる。したがって、高輝度部の情報量が少ないと判断される画像を選んで圧縮再記録の処理を実行すればよい。
【００１６】
ＲＡＷデータの記録機能を利用する人は画像に親しんでいる人が多いと考えられるので、高輝度部に情報（ハイライト情報）を多く含んでいるかどうか、高輝度部を削除しても最終画像には影響が小さいかどうかを判断できる場合も多いと考えられる。
【００１７】
本発明の一態様は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の副感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記副感光画素からそれぞれ画像信号を取り出すことができる構造を有する撮像素子が用いられ、前記主感光画素は前記第１の撮像手段として機能し、前記副感光画素は前記第２の撮像手段として機能することを特徴とする。
【００１８】
この態様に用いる撮像素子は、主感光画素と副感光画素とを組み合わせた複合画素の構造を有している。主感光画素と副感光画素とは光学的に同位相の情報を取得することができ、一回の撮像によってダイナミックレンジの異なる２つの画像情報を取得することができる。
【００１９】
本発明の画像記録装置における一態様として、前記撮像素子は、各受光セルが少なくとも前記主感光画素及び前記副感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記副感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする。
【００２０】
かかる構造の撮像素子は、同一受光セル（画素セル）内の主感光画素と副感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の２つの画像情報を一回の撮像で取得することができる。
【００２１】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２２】
〔撮像素子の構造〕
まず、本発明が適用される電子カメラに用いられる広ダイナミックレンジ撮像用の撮像素子の構造について説明する。図１はＣＣＤイメージセンサ（以下、ＣＣＤという。）２０の受光面の構造例を示す平面図である。図１では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示すが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００２３】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、従たる感光部（以下、副感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）２３が形成されている。
【００２４】
図１に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側には不図示の画素が横方向に半ピッチずれた位置に配置される。図１上に示した各画素ＰＩＸの左側に示されている垂直転送路２３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００２５】
図１中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極２４、２５、２６、２７（まとめてＥＬで示す。）が垂直転送路２３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１ のパルス電圧が印加される第１の転送電極２４と、φ３ のパルス電圧が印加される第３の転送電極２６とは第１層ポリシリコン層で形成され、φ２ のパルス電圧が印加される第２の転送電極２５と、φ４ のパルス電圧が印加される第４の転送電極２７とは第２層ポリシリコン層で形成される。なお、転送電極２４は副感光画素２２から垂直転送路２３への電荷読み出しも制御する。転送電極２５は主感光画素２１から垂直転送路２３への電荷読み出しも制御する。
【００２６】
図２は図１の２−２線に沿う断面図であり、図３は図１の３−３線に沿う断面図である。図２に示したように、ｎ型半導体基板３０の一表面にｐ型ウエル３１が形成されている。ｐ型ウエル３１の表面領域に２つのｎ型領域３３、３４が形成され、フォトダイオードを構成している。符号３３で示したｎ型領域のフォトダイオードが主感光画素２１に相当し、符号３４で示したｎ型領域のフォトダイオードが副感光画素２２に相当している。ｐ^＋ 型領域３６は、画素ＰＩＸ、垂直転送路２３等の電気的な分離を行うチャネルストップ領域である。
【００２７】
図３に示すように、フォトダイオードを構成するｎ型領域３３の近傍に垂直転送路２３を構成するｎ型領域３７が配置されている。ｎ型領域３３、３７の間のｐ型ウエル３１が読み出しトランジスタを構成する。
【００２８】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路２３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路２３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜３８がタングステン等により形成されている。
【００２９】
遮光膜３８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜３９が形成され、その表面が平坦化されている。層間絶縁膜３９の上にカラーフィルタ層（オンチップカラーフィルタ）４０が形成されている。カラーフィルタ層４０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００３０】
カラーフィルタ層４０の上に各画素ＰＩＸに対応してマイクロレンズ（オンチップマイクロレンズ）４１がレジスト材料等により形成されている。マイクロレンズ４１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜３８が画定する開口内に集光させる機能を有する。
【００３１】
マイクロレンズ４１を介して入射した光は、カラーフィルタ層４０によって色分解され、主感光画素２１及び副感光画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路２３に読み出される。
【００３２】
主感光画素２１と副感光画素２２とは光学的に同位相の情報を取得することができ、同一画素セル内の主感光画素２１と副感光画素２２の画素位置は略同一の位置にあるものとして取り扱うことができる。
【００３３】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００３４】
図４は、ＣＣＤ２０の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路２３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００３５】
図４において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路４４が配置される。各画素ＰＩＸは上述のように主感光画素２１と副感光画素２２とを含む。垂直転送路２３は各列に近接して蛇行して配置されている。
【００３６】
また、受光領域ＰＳの下側（垂直転送路２３の下端側）には、垂直転送路２３から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４５が設けられている。
【００３７】
水平転送路４５は、２相駆動の転送ＣＣＤで構成されており、水平転送路４５の最終段（図４上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００３８】
図５にＣＣＤ２０の他の構造例を示す。図５は平面図、図６は図５の６−６線に沿う断面図である。これらの図面中図１及び図２に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【００３９】
図５及び図６に示したように、主感光画素２１と副感光画素２２の間にｐ^＋ 型分離領域４８が形成されている。この分離領域４８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域４８の上方には分離領域４８に対応した位置に遮光膜４９が形成されている。
【００４０】
遮光膜４９と分離領域４８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素２１及び副感光画素２２に蓄積された電荷がその後混合することを防止する。その他の構成は図１及び図２に示した例と同様である。
【００４１】
また、画素ＰＩＸのセル形状や開口形状は図１や図５に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図１や図５に示した形状に限定されない。
【００４２】
図７にＣＣＤ２０の更に他の構造例を示す。図７中図１及び図５に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図７は、２つの感光部（２１、２２）が斜め方向に分離されている構成を示す。
【００４３】
このように、それぞれの分割感光エリアで蓄積された電荷を別々に垂直転送路に読み出すことができればよく、分割形状や分割数、面積の大小関係などは適宜設計される。ただし、副感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【００４４】
図８は、主感光画素２１と副感光画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００４５】
同図に示すように、主感光画素２１と副感光画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。主感光画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０９５）に達する。以後、入射光量が増加しても主感光画素２１の出力は一定となる。この「ｃ」を主感光画素２１の飽和光量と呼ぶことにする。
【００４６】
一方、副感光画素２２の感度は、主感光画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝４０９５／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を副感光画素２２の飽和光量と呼ぶ。
【００４７】
このように、異なる感度と飽和を持つ主感光画素２１と副感光画素２２とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ２０のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。主感光画素のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では副感光画素を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００４８】
上述したように、ＣＣＤ等の撮像素子ではＲＧＢ又はＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等のカラーフィルタを通してフォトダイオードで受けた光を前記信号に変える。このうち、どれだけの光の情報に対して信号が得られるかはレンズを含めた光学系、ＣＣＤ感度及び飽和に依存する。相対的に感度は高いが蓄積可能な電荷量が少ない素子と、相対的に感度は低いが蓄積可能な電荷量が大きい素子とでは、後者の方が入射される光の強弱が強い場合に対しても適切な信号を供することが可能であり、ダイナミックレンジが広い。
【００４９】
光の強弱に対してどのように応答可能かを設定する手段としては、▲１▼フォトダイオードに入る光の量を調整する、▲２▼光を受けて電圧に変えるソースフォロアのアンプゲインを変える、などの態様がある。▲１▼の場合は、フォトダイオードに対し、上層部にあるマイクロレンズの光透過特性や相対位置関係によって調整できる。その一方、蓄積できる電荷量としては、フォトダイオードの大きさ等で決定される。図１乃至図７で説明したように、大きさの異なる２つのフォトダイオード（２１、２２）を並べることにより、異なる光のコントラスト比に対して応答可能な信号を得ることができ、更にこれらの２つのフォトダイオード（２１、２２）の感度を調整することで、最終的に広いダイナミックレンジを有する撮像デバイス（ＣＣＤ２０）を実現できる。
【００５０】
〔広ダイナミックレンジ撮像可能なカメラの例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤ２０を搭載した電子カメラについて説明する。
【００５１】
図９は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ５０は、撮像素子５１として上記のＣＣＤ２０が搭載されており、ＣＣＤ２０を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディアなどの画像記録部５２に記録するデジタルカメラである。
【００５２】
カメラ５０は表示部５４を備えており、撮像中の映像や記録した画像データの再生画像等を表示部５４に表示させることができる。
【００５３】
カメラ５０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）５６によって統括制御される。 ＣＰＵ５６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００５４】
ＣＰＵ５６は不図示のバスを介してメモリ６０と接続されている。メモリ６０は、ＣＰＵ５６が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ（ＲＯＭ）領域と、プログラムの展開領域及びＣＰＵ５６の演算作業用領域として利用される揮発性メモリ（ＲＡＭ）領域とを含むブロックである。ＲＡＭ領域は、画像データの一時記憶領域としても利用される。また、メモリ６０はＲＡＷ記録条件格納領域６１を有し、この領域６１には、ＲＡＷ画像記録に関する条件データが格納されている。
【００５５】
表示部５４には、例えば、カラー液晶ディスプレイが用いられている。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部５４は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段、或いは記録前の画像内容を確認するプレビュー表示の手段として利用される。また、表示部５４は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。
【００５６】
カメラ５０にはユーザが各種の指令を入力するための操作部６４が設けられている。操作部６４は、シャッタボタン、ズームスイッチ、モード切換スイッチ、など各種操作部を含む。シャッタボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２ スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１ オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２ オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り換えるための操作手段である。
【００５７】
また、操作部６４には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、表示部５４のＯＮ／ＯＦＦや表示方法の切り換え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り換えなどを行うための表示ボタン、ＲＡＷ記録ＯＮ／ＯＦＦスイッチ、ＲＡＷ画像選択ボタン６５、圧縮再記録ボタン６６などの操作手段も含まれる。
【００５８】
ＲＡＷ記録ＯＮ／ＯＦＦスイッチは、ＲＡＷデータの記録を行うか否かの選択を行うための操作スイッチである。このスイッチによって、ＲＡＷデータ記録モードと、通常の画像記録モード（所定の信号処理アルゴリズムに従って画像信号の処理を施したデータを記録するモード）とを適宜切り換えることができる。
【００５９】
通常の画像記録モードは、撮影した画像データに対してカメラ内部で様々な処理を施し、ＪＰＥＧやＴＩＦＦなどに代表される汎用的な画像ファイル形式に変換してデータを記録するモードである。このモードで記録された画像データは、一般的な画像ビューワ（画像閲覧ソフトウェア等） によって簡単に閲覧・管理できるという利点があるが、この汎用的な画像ファイル形式で記録したものは、後処理の工程で画像の加工をする際の自由度が低く、十分な画質が得られないという制約がある。
【００６０】
これに対し、ＲＡＷデータ記録モードは、ＣＣＤ２０から出力された生のデータをそのまま記録するモードである。このモードで記録されるＲＡＷ画像データは、画像処理用のアプリケーションソフトウェア等のツールを用いることによって、豊富な階調を損なうことなく、高品位かつ柔軟性の高いデータ加工が可能である。したがって、大型プリントや高品位印刷などのように画像の使用目的や撮影者の表現意図に応じた画像処理作業を行う場合に適している。
【００６１】
ＲＡＷ画像選択ボタン６５は、画像記録部５２に記録されたＲＡＷ画像の中から圧縮再記録の対象とするものを選択するための操作手段である。圧縮再記録ボタン６６は、選択に係るＲＡＷ画像を圧縮して画像記録部５２に再記録する処理の実行を指令するための操作手段である。
【００６２】
なお、操作部６４の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００６３】
操作部６４からの信号はＣＰＵ５６に入力される。ＣＰＵ５６は操作部６４からの入力信号に基づいてカメラ５０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、ＣＣＤ２０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、画像記録部５２内のファイル管理、画像記録部５２の容量管理（空き容量の検出を含む）、表示部５４の表示制御などを行う。
【００６４】
次に、カメラ５０の撮影機能について説明する。
【００６５】
カメラ５０の撮像部には、撮影レンズ７０と、絞り７１と、メカシャッタ７２と、撮像素子５１とが設けられている。本例では撮像素子５１としてＣＣＤ２０を用いているが、ＣＣＤ２０に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。
【００６６】
撮影レンズ７０は電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００６７】
撮影者によって操作部６４のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ５６からレンズ駆動部７４に対して光学系制御信号が出力される。レンズ駆動部７４は、ＣＰＵ５６からの制御信号に基づいてレンズ駆動用の信号を生成し、モータ（不図示）に与える。こうして、モータが作動し、撮影レンズ７０内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ７０の焦点距離（光学ズーム倍率）が変更される。
【００６８】
撮影レンズ７０を通過した光は、絞り７１及びメカシャッタ７２を介してＣＣＤ２０の受光面に入射する。ＣＣＤ２０の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。なお、ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００６９】
ＣＣＤ２０の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ２０は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００７０】
ＣＣＤ２０の各フォトセンサに蓄積された信号電荷は、ＣＰＵ５６の指令に従い撮像素子駆動部７６から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ２０から出力された画像信号は、Ａ／Ｄ変換器７７によってデジタル信号に変換された後、信号処理部７８に送られる。
【００７１】
信号処理部７８は、メモリ６０の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部７８は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路、圧縮伸張回路、表示用信号生成回路等を含む画像処理手段であり、ＣＰＵ５６からのコマンドに従ってメモリ６０を活用しながら画像信号を処理する。
【００７２】
Ａ／Ｄ変換後にメモリ６０に格納されたデータ（ＣＣＤＲＡＷデータ）は、バスを介して信号処理部７８に送られる。信号処理部７８に送られた画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ６０に格納される。
【００７３】
撮影画像を表示部５４にモニタ出力する場合、メモリ６０から画像データが読み出され、信号処理部７８の表示変換回路に送られる。表示変換回路に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、表示部５４に出力される。ＣＣＤ２０から出力される画像信号によってメモリ６０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部５４に供給されることにより、撮像中の映像（スルー画）がリアルタイムに表示部５４に表示される。撮影者は表示部５４に映し出されるスルー画の映像によって画角（構図）を確認できる。
【００７４】
撮影者が画角を決めてシャッタボタンを押下すると、ＣＰＵ５６はこれを検知し、シャッタボタンの半押し（Ｓ１ ＝ＯＮ）に応動してＡＥ処理及びＡＦ処理などの撮影準備動作を行い、シャッタボタンの全押し（Ｓ２ ＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００７５】
すなわち、ＣＰＵ５６は、Ｓ１ ＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてレンズ駆動部７４に制御信号を送り、不図示のＡＦモータを制御してフォーカスレンズを合焦位置に移動させる。
【００７６】
また、オート演算部のＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００７７】
ＣＰＵ５６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００７８】
ＣＰＵ５６は、上述のＡＥ演算結果に基づいて絞りとシャッタスピードを決定する。そして、ＣＰＵ５６は、Ｓ２ ＝ＯＮに応動して、絞り駆動部７９及びシャッタ駆動部８０を制御し、記録用画像取得時の露光量を制御する。
【００７９】
本例のカメラ５０は、スルー画中は主感光画素２１のみからデータの読み出しを行い、主感光画素２１の画像信号からスルー画用の画像を作成する。また、シャッタボタンのＳ１ ＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッタボタンのＳ２ ＝ＯＮに応動してＣＣＤ２０の露光を行い、露光後にメカシャッタ７２を閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素２１の電荷を読み出し、その後、副感光画素２２の電荷の読み出しを行う。このように、一回の撮像によってダイナミックレンジの異なる２つの画像情報を取得することができる。
【００８０】
なお、図９には示されていないが、カメラ５０はストロボ装置を有している。ストロボ装置は、発光部としての放電管（例えば、キセノン管）、トリガー回路、放電用エネルギーを蓄積するメインコンデンサ及びその充電回路などを含むブロックである。ＣＰＵ５６は必要に応じてストロボ装置にコマンドを送り、ストロボ装置の発光を制御する。
【００８１】
こうして、シャッタボタンの全押し（Ｓ２ ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部７８においてＹＣ処理その他の所定の信号処理を経た後、必要に応じて所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮され、メディアインターフェース部（図９中不図示）を介して画像記録部５２に記録される。
【００８２】
本例のカメラ５０は、撮影目的に合わせて、複数種類の記録画素数（画像サイズ）を選択することが可能であり、また、複数種類の圧縮率を選択することが可能である。予め用意されている複数の記録画素数と圧縮率の組み合わせパターンの中からユーザが所定のユーザインターフェースを通じて所望の条件を指定することができ、指定された条件で画像が記録される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００８３】
本カメラ５０は、上記通常の画像記録（圧縮画像の記録）に代えて、又はこれと併せて、非圧縮画像データを記録したり、或いは、同時化やＹＣ処理などの信号処理を施さないＲＡＷデータを記録したりすることができる。
【００８４】
ＲＡＷデータを記録するモードの場合も、そのデータに基づいて通常の画像生成処理が施され、間引き処理によって縮小画像（サムネイル画像）のデータが生成され、ＲＡＷデータとともにサムネイル画像のデータが記録ファイル（例えばヘッダー部）に格納される。
【００８５】
画像データを保存する手段は、ｘＤピクチャーカード（商標）、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ５０に内蔵された記録媒体（内部メモリ）であってもよい。
【００８６】
操作部６４のモード選択スイッチによって再生モードが選択されると、画像記録部５２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。画像記録部５２から読み出された画像ファイルのデータは、信号処理部７８において伸張処理その他の必要な処理が施された後、表示用の信号に変換されて表示部５４に出力される。
【００８７】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送り指定に係る次のファイルが画像記録部５２から読み出され、表示画像が更新される。なお、再生対象ファイルがＲＡＷデータ記録されたファイルの場合には、ファイルのヘッダー部に格納されているサムネイル画像のデータが再生表示されるようになっている。
【００８８】
図１０は信号処理部７８における信号処理フローを示した要部ブロック図である。ＣＣＤ２０の高感度画素（主感光画素）から読み出された画像信号は、相対的に低輝度部の情報を示している。また、ＣＣＤ２０の低感度画素（副感光画素）から読み出された画像信号は、相対的に高輝度部の情報を示している。
【００８９】
図示のとおり信号処理部７８は、ゲイン調整回路８１，８２と、ガンマ補正回路８３，８４と合成・圧縮回路８５と、を含む。
【００９０】
ゲイン調整回路８１，８２は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ５６からの指令に基づいて各色信号のゲイン調整を行う。ゲイン調整回路８１，８２にてゲイン処理された信号は、ガンマ補正回路８３，８４に送られる。
【００９１】
ガンマ補正回路８３，８４は、ＣＰＵ５６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正回路８３，８４から出力された信号は合成・圧縮回路８５に送られる。
【００９２】
合成・圧縮回路８５は、低輝度部の画像データに係数を乗算する乗算部と、高輝度部の画像データに係数を乗算する乗算部と、係数乗算後の低感度部画像データと高感度部画像データとを加算（合成）する加算部と、加算部から得られた合成画像データから画像生成（ＹＣ処理など）や各種補正を行う信号変換部と、信号変換部にて生成された画像データを圧縮する圧縮部と、を含む処理ブロックである。なお、低感度部の画像データ及び高感度部の画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ５６によって可変設定される。
【００９３】
広ダイナミックレンジ画像の記録を行う場合、ＣＣＤ２０の主感光画素から得られた低輝度部の画像情報は、ゲイン調整回路８１においてゲイン調整がなされた後、ガンマ補正回路８３にてガンマ補正されて合成・圧縮回路８５に送られる。
【００９４】
続いて、ＣＣＤ２０の副感光画素から得られた高輝度部の画像情報は、ゲイン調整回路においてゲイン調整がなされた後、ガンマ補正回路８４にてガンマ補正されて合成・圧縮回路８５に送られる。
【００９５】
低輝度部の画像情報と高輝度部の画像情報は、合成・圧縮回路８５にて合成されるとともに、所要の信号処理が施されて画像生成が行われる。その後、所定の圧縮フォーマットに従って圧縮され、画像記録部５２へ送られる。
【００９６】
その一方、ＲＡＷデータ記録モードが選択されている場合においては、上記のゲイン調整などの信号処理が省略され、低輝度部のＲＡＷデータ及び高輝度部のＲＡＷデータがそれぞれ画像記録部５２に送られ、別々のファイルとして記録保存される。
【００９７】
ＲＡＷデータ記録モードでは、既述のとおり、ＣＣＤ２０から出力された画像信号のＡ／Ｄ変換出力がそのまま（未加工のまま）記録される。すなわち、ＲＡＷデータは、ガンマ変換、ホワイトバランス調整、同時化（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）などの信号処理が行われていない生の画像データである。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データ、或いは更にゲイン調整のみを実施したデータなどについても、汎用フォーマットに変換されていないという点でＲＡＷデータの概念に含まれるものとする。
【００９８】
ＲＡＷデータ記録モードによって取得された低輝度部画像データのファイルと高輝度部画像データのファイルは相互に関連付けられて記録される。二つのファイルの関連性を確保する関連付けの方法としては、例えば、ファイル名の一部を共通化して他の一部を変更する態様、同じファイル名で拡張子を変更する態様、関連付け情報をファイルの付属情報（例えば、タグ情報）として記録する態様、或いはこれらの組み合わせなどがある。
【００９９】
ＲＡＷデータの再生時には上記の関連付けに従って２つのファイルを読み出すことが可能である。低輝度部画像データと高輝度部画像データとを利用することにより、輝度レンジの広い画像の再現が可能となる。なお、本発明の実施に際しては、低輝度部画像データのファイルと高輝度部画像データのファイルとを別ファイルで保存する態様に限定されず、低輝度部のＲＡＷデータと高輝度部のＲＡＷデータを１つのファイルにまとめて記録する態様もあり得る。
【０１００】
上記の如く構成されたカメラ５０の動作について説明する。
【０１０１】
図１１は、カメラ５０における撮影モード時の制御手順を示すフローチャートである。
【０１０２】
撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は電源ＯＮの状態で再生モードから撮影モードに切り換えられたときに、図１１の制御フローがスタートする。
【０１０３】
撮影モードの処理がスタートすると（ステップＳ１００）、ＣＰＵ５６は所定の初期処理を行った後にレリーズ操作を受け付ける（ステップＳ１１０）。ＣＰＵ５６はシャッタボタンからの信号入力を監視し、Ｓ１ スイッチがＯＮしたか否かの判定を行う（ステップＳ１１２）。Ｓ１ スイッチがＯＦＦの状態であれば、ステップＳ１１０に戻り、撮影指示の入力を待機する。
【０１０４】
その後、撮影者によってシャッタボタンが押され、撮影準備の指示が入力されると（ＣＰＵ５６がＳ１ ＝ＯＮを検出すると）、ステップＳ１１４に進み、ＡＥ及びＡＦ処理を行う。ＡＥ処理によって撮影条件が決定され、ＡＦ処理によってフォーカス調整が行われる。
【０１０５】
その後、ＣＰＵ５６はシャッタボタンのＳ２ スイッチからの信号入力を判定する（ステップＳ１１６）。ステップＳ１１６でＳ２ スイッチがＯＮしていない場合は、Ｓ１ が解除されたか否かを判定する（ステップＳ１１８）。ステップＳ１１８でＳ１ が解除されていれば、ステップＳ１１０に戻り、撮影指示の入力待ち状態になる。
【０１０６】
一方、ステップＳ１１８でＳ１ が解除されていなければステップＳ１１６に戻り、撮影スタンバイ状態のままＳ２ ＝ＯＮの入力を待機する。ステップＳ１１８においてＳ２ ＝ＯＮの入力が検出されると、ステップＳ１２０に進み、記録用画像を取得するための撮影動作（ＣＣＤ露光）が実行される。
【０１０７】
露光後メカシャッタ７２を閉じて、まず、主感光画素２１から信号の読み出しが行われ（ステップＳ１２２）、その画像データ（主感光部データ）はメモリ６０に記憶される。
【０１０８】
次に、副感光画素２２から信号の読み出しが行われ（ステップＳ１２４）、その画像データ（副感光部データ）はメモリ６０に記憶される。
【０１０９】
次いで、ＣＰＵ５６は、ＲＡＷデータ記録モードが選択されているか否かの判定を行う（ステップＳ１２６）。この判定は、操作部６４のＲＡＷ記録ＯＮ／ＯＦＦスイッチの状態に基づいて行われる。ステップＳ１２６においてＮＯ判定、すなわち、通常の記録モードが選択されている場合には、ステップＳ１２８に進む。
【０１１０】
ステップＳ１２８では、主感光画素２１から得られたデータ（低輝度部の信号）を処理し、ゲイン調整やガンマ補正などを行う（図１０参照）。
【０１１１】
また、副感光画素２２から得られたデータ（高輝度部の信号）についても、図１０で説明したように、ゲイン調整やガンマ補正などの信号処理を行う（図１１のステップＳ１３０）。
【０１１２】
その後、ステップＳ１２８で得られた低輝度画像データとステップＳ１３０で得られた高輝度画像データとを合成して一枚の広ダイナミックレンジ画像を生成するとともに、その画像データを圧縮して（ステップＳ１３２）、画像記録部５２に保存する（ステップＳ１３４）。こうして、合成処理された画像が画像記録部５２に記録され、撮影処理を終了する（ステップＳ１４０）。
【０１１３】
ステップＳ１２６においてＲＡＷデータ記録モードが選択されている場合には、主感光画素２１から得られたＲＡＷデータ（低輝度部のＲＡＷデータ）及び副感光画素２２から得られたＲＡＷデータ（高輝度部のＲＡＷデータ）の記録処理が行われる（ステップＳ１３６、Ｓ１３８）。こうして、低輝度部及び高輝度部のそれぞれのＲＡＷデータが画像記録部５２に保存される。
【０１１４】
上記のようにしてＲＡＷデータの記録処理が完了したら、本撮影シーケンスを終了する（ステップＳ１４０）。
【０１１５】
次に、記録済みＲＡＷ画像の再記録機能について説明する。
【０１１６】
図１２はＲＡＷ画像の圧縮再記録処理の手順を示したフローチャートである。モード切換スイッチを「再生モード」に設定すると、図１２の制御フローがスタートする。
【０１１７】
再生モードの処理がスタートすると（ステップＳ２００）、画像記録部５２に記録されている画像データが読み出され、表示部５４に画像内容が表示される（ステップＳ２１０）。このときの表示形態は、一枚の画像を表示部５４の画面に単独で表示させる形態（一コマ再生モード）でもよいし、或いは表示画面を複数のエリアに分割（例えば、３×３の９分割）して複数の画像を表示部５４に同時に表示させる形態（マルチ再生モード）でもよい。ユーザは表示ボタンを操作することによって表示モードを適宜切り換えることができる。
【０１１８】
再生画像が表示されている状態でカメラはユーザからの操作を受け付ける（ステップＳ２１２）。ＣＰＵ５６は操作部６４からの信号入力を判定し、入力された指令に応じた処理を行う。すなわち、ＣＰＵ５６はＲＡＷ画像選択ボタン６５が押されたか否かを判定し（ステップＳ２１４）、ＹＥＳならば選択に係るＲＡＷ画像について選択対象であることを示す選択マークを付与する（ステップＳ２１６）。
【０１１９】
選択マークには、例えば、ＣＰＵ５６が選択対象のファイルを識別するための情報（例えば、選択済みフラグなど）、表示部５４の画面上で選択対象を識別できるような情報（例えば、選択済みであることを示す枠線やアイコンなど）などが含まれる。
【０１２０】
ステップＳ２１６の後、又はステップＳ２１４でＮＯ判定の場合には、ステップＳ２１８に進む。ステップＳ２１８においてＣＰＵ５６は、コマ送り操作が行われたか否かを判定する。順方向又は逆方向のコマ送り指令が入力された場合には、その送り方向の指令に従って選択対象を変更する処理を行い（ステップＳ２２０）、ステップＳ２１０に戻る。一コマ再生モードのときにコマ送り操作が行われると、再生対象ファイルが変更されて表示部５４における画像表示が更新される。また、マルチ再生モードにおいてコマ送り操作が行われると、選択画像を示すカーソルが移動する。
【０１２１】
こうして、ユーザは、画像内容を確認しながら、再記録の対象とするＲＡＷ画像を指定することができる。
【０１２２】
ステップＳ２１８においてＮＯ判定を得ると、ステップＳ２２０に進み、ＣＰＵ５６は圧縮再記録ボタン６６が押されたか否かを判定する。圧縮再記録ボタン６６が押されていなければ、ステップＳ２１０に戻り、上記の処理を繰り返す。一方、再記録の対象コマを選んだ後にユーザは圧縮再記録ボタン６６を押して、処理の実行を指示する。ステップＳ２２０において圧縮再記録ボタン６６が押されたことが検出されると、カメラ５０は指定されたＲＡＷ画像について低輝度部の情報のみを圧縮して画像記録部５２に再記録する処理を実行する（ステップＳ２２２）。例えば、低輝度部の情報のみからＪＰＥＧ画像を生成して、これを画像記録部５２に記録する処理を行う。
【０１２３】
また、このとき、指定に係るＲＡＷ画像を圧縮後再記録したら、当該ＲＡＷ画像について高輝度部及び低輝度部の両ＲＡＷデータが画像記録部５２から消去される。これにより、画像記録部５２の空き容量は増大する。こうして、再記録のシーケンスが終了する。
【０１２４】
図１２では、指定されたＲＡＷ画像のうち低輝度部の情報のみを圧縮して再記録する例を述べたが、本発明の実施に際しては、高輝度部の情報も圧縮して再記録するか否かをユーザに選択させてもよい。更には、低輝度部と高輝度部の情報を合成し、その合成画像を圧縮して再記録するモードを付加してもよい。
【０１２５】
また、図１２では、再生モードにおいて、圧縮再記録の処理を行う例を述べたが、本発明の実施に際しては、撮影モード中に、メニュー画面などから圧縮再記録の処理モードに移行できるようにしてもよい。
【０１２６】
上述の説明では、ハニカム構造の画素配列を有するＣＣＤを例に説明したが、本発明の適用範囲はこれに限定されず、全画素が正方行列的に配列された画素配列の撮像素子を用いることもできる。
【０１２７】
また、上記実施形態においては、各画素セルが主感光画素と副感光画素に分割された構造の撮像素子を用いたが、本発明の実施に際しては、低輝度部の画像情報と、高輝度部の画像情報とを得るための手段はこの例に限定されない。
【０１２８】
撮像素子の受光面において主感光画素の画素セルと、副感光画素の画素セルとがそれぞれ開口の異なる受光部を形成している態様でもよい。
【０１２９】
また、主感光画素と副感光画素といった区別のない、単一種類の画素セルで構成されている撮像素子を用いて露光条件を変えて複数回（少なくとも２回）の撮像を行うことによって、低輝度部の画像情報と高輝度部の画像情報とを取得する態様も可能である。
【０１３０】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルコンピュータなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１３１】
【発明の効果】
以上説明したように本発明によれば、記録済みのＲＡＷ画像の中からユーザが所望の画像を選択でき、選択に係るＲＡＷ画像の低輝度部のデータを圧縮して再記録して元のＲＡＷ画像の高輝度部及び低輝度部のデータを消去する構成にしたので、記録部の残容量が少なくなったときなど、必要に応じて圧縮再記録の処理を実行することにより、記録部の空き容量を増加させることができ、撮影記録可能枚数を増やすことができる。
【０１３２】
また、本発明によれば、撮影時には全て高画質のＲＡＷデータで記録しておき、高輝度部の情報の重要性（必要性）を判断して、重要でないと判断されるものは、圧縮処理を行って中〜低画質で再保存できる。これにより、使い勝手のよい画像記録装置を実現できる。
【図面の簡単な説明】
【図１】ＣＣＤ撮像素子の受光面の構造例を示す平面図
【図２】図１の２−２線に沿う断面図
【図３】図１の３−３線に沿う断面図
【図４】図１に示すＣＣＤの全体構成を示す平面模式図
【図５】ＣＣＤの他の構造例を示す平面図
【図６】図５の６−６線に沿う断面図
【図７】ＣＣＤの更に他の構造例を示す平面図
【図８】主感光画素と副感光画素の光電変換特性を示すグラフ
【図９】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図１０】図９に示した信号処理部の要部構成を示すブロック図
【図１１】本例のカメラにおける撮影モード時の制御手順を示すフローチャート
【図１２】本例のカメラにおけるＲＡＷ画像の圧縮再記録処理の手順を示したフローチャート
【符号の説明】
２０…ＣＣＤ、２１…フォトダイオード領域（主感光画素）、２２…フォトダイオード領域（副感光画素）、２３…垂直転送路、４０…カラーフィルタ層、４１…マイクロレンズ、５０…カメラ、５１…撮像素子、５２…画像記録部、５４…表示部、５６…ＣＰＵ、６０…メモリ、６４…操作部、６５…ＲＡＷ画像選択ボタン、６６…圧縮再記録ボタン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image recording apparatus, and more particularly to an image recording processing technique suitable for a digital still camera capable of recording a wide dynamic range image, and raw data (RAW data) output from an image sensor such as a CCD. The present invention relates to a technique used for a RAW data recording function for recording the data as it is.
[0002]
[Prior art]
The digital still camera (DSC) performs various processes on the image information captured by the image sensor to obtain a preferable image and then records it. Since the storage capacity of the recording medium is limited, recording is generally performed after the image is compressed and the data amount is reduced. On the other hand, there are some DSCs that can record so-called RAW images that do not apply processing to image information captured by the image sensor for users who want to perform image processing using their own methods. To do. Since this RAW image recording does not add compression processing, there is a problem that the amount of image data increases.
[0003]
On the other hand, as described in Patent Document 1, there has also been proposed a camera including an image sensor in which first and second imaging cells having different sensitivities are formed in one pixel. This is because the low-luminance information of the scene is captured by the high-sensitivity imaging cell, and at the same time the information of the high-luminance part is captured by the low-sensitivity imaging cell, and the signals of these two types of imaging cells are combined to provide a wide luminance range It has the feature of obtaining an image.
[0004]
Patent Document 2 discloses a digital still camera that can take a picture once, read an image recorded on a recording medium, and re-record it at a different compression rate. According to this camera, it is possible to increase the number of images (number of images) that can be recorded when the remaining amount of recording media decreases.
[0005]
[Patent Document 1]
Japanese Patent Publication No.8-31988 [0006]
[Patent Document 2]
Japanese Patent Laid-Open No. 9-322110
[Problems to be solved by the invention]
In the case of a camera using an image pickup device including a high-sensitivity image pickup cell and a low-sensitivity image pickup cell described in Patent Document 1, a RAW image that does not perform processing on image information captured by the image pickup device is recorded. It is also conceivable that the user can individually perform various image processing after shooting. However, in this case, both the image captured by the high-sensitivity imaging cell (high-sensitivity captured image) and the image captured by the low-sensitivity imaging cell (low-sensitivity captured image) are recorded RAW. The amount becomes even larger. Therefore, the number of sheets that can be recorded on the recording medium is further reduced as compared with the case where normal compression recording is performed.
[0008]
For example, during shooting outdoors, when there is no spare recording media and the remaining amount of media in use is low, the user will try to erase the image recorded on the recording media. However, if those images capture a valuable photo opportunity, the user may hesitate to erase or stop erasing and abandoning a new shoot.
[0009]
The present invention has been made in view of such circumstances, and provides an image recording apparatus capable of increasing the number of images that can be recorded by securing a free space in a recording medium without losing a recorded image. With the goal.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, an image recording apparatus according to the present invention includes a first imaging unit that converts an optical image of a subject into an electrical signal and obtains image information of a relatively low luminance portion, and an optical image of the subject. Is converted into an electrical signal to obtain image information of a relatively high-luminance portion, image information of a low-luminance portion obtained by the first imaging means, and obtained by the second imaging means RAW image recording processing means for recording in the recording unit a RAW image that is not subjected to any processing on the image information of the high-luminance part, and a selection operation for selecting a desired image among the RAW images recorded in the recording unit Means, a compression means for compressing the data of the low luminance part of the RAW image selected by the selection operation means, and a re-recording processing means for recording the compressed image of the low luminance part generated by the compression means on the recording part And the re-recording process Erasure processing means for erasing the data of the low luminance part and the high luminance part of the original RAW image related to the selection from the recording unit when the compressed image is recorded by the means. To do.
[0011]
The image recording apparatus of the present invention can record RAW data (RAW image) before processing of an image captured through the first and second imaging units in a recording unit. The user can designate at least one desired RAW image from the recorded images using the selection operation means. A compressed image is created by compressing the information of the low luminance portion of the information of the high luminance portion and the low luminance portion of the designated RAW image, and this is re-recorded in the recording portion.
[0012]
Regarding re-recording at this time, in addition to an aspect of compressing and recording only the information of the low-brightness part of the specified RAW image, the user can select whether or not to compress and re-record the high-brightness part as necessary. According to the selection, a mode in which the high luminance part is compressed and re-recorded is also possible.
[0013]
Further, along with the re-recording process after compression, information on both the high-luminance part and the low-luminance part of the original RAW image according to the designation is erased from the recording part.
[0014]
As a result, the free capacity of the recording unit can be increased, and the number of recordable images can be increased. Therefore, it is possible to effectively utilize a recording unit having a limited capacity and to deal with a new photographing opportunity while leaving a precious recorded image.
[0015]
In the present invention, the information of the high-intensity part of the RAW image is lost by executing the compression re-recording process. For example, a person wearing dark clothes at the time of cloudy weather is displayed in front of the black wall. When the amount of information in the high luminance part is small as in the photographed scene, it is considered that even if the information in the high luminance part is deleted, the influence on the final image is small. Therefore, it is only necessary to select an image that is judged to have a small amount of information in the high luminance portion and execute the compression re-recording process.
[0016]
Since it is considered that there are many people using the RAW data recording function who are familiar with the image, whether or not the high luminance portion contains a lot of information (highlight information), the final image is deleted even if the high luminance portion is deleted. In many cases, it can be judged whether or not the impact is small.
[0017]
According to one aspect of the present invention, a large number of high-sensitivity main photosensitive pixels having a relatively narrow dynamic range and low-sensitivity sub-photosensitive pixels having a relatively wide dynamic range are arranged in accordance with a predetermined arrangement form. An image sensor having a structure capable of extracting an image signal from each of the main photosensitive pixel and the sub photosensitive pixel is used, the main photosensitive pixel functions as the first imaging unit, and the sub photosensitive pixel is the second photosensitive pixel. It functions as an imaging means.
[0018]
The image sensor used in this aspect has a composite pixel structure in which a main photosensitive pixel and a sub-photosensitive pixel are combined. The main photosensitive pixel and the secondary photosensitive pixel can acquire optically in-phase information, and two pieces of image information having different dynamic ranges can be acquired by one imaging.
[0019]
As an aspect of the image recording apparatus of the present invention, the imaging element has a structure in which each light receiving cell is divided into a plurality of light receiving regions including at least the main photosensitive pixel and the sub photosensitive pixel, and is disposed above each light receiving cell. The color filters of the same color component are arranged for the main photosensitive pixel and the sub photosensitive pixel in the same light receiving cell, and each light receiving cell is provided with one microlens for one light receiving cell. It is characterized by being.
[0020]
An image sensor having such a structure can be handled as if the pixel positions of the main photosensitive pixel and the sub photosensitive pixel in the same light receiving cell (pixel cell) are substantially the same position. Therefore, two pieces of image information having the same phase in time and substantially the same position in space can be acquired by one imaging.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0022]
[Image sensor structure]
First, the structure of an image sensor for wide dynamic range imaging used in an electronic camera to which the present invention is applied will be described. FIG. 1 is a plan view showing a structural example of a light receiving surface of a CCD image sensor (hereinafter referred to as CCD) 20. FIG. 1 shows a state in which two light receiving cells (pixels PIX) are arranged side by side, but in actuality, a large number of pixels PIX are arranged at a constant arrangement period in the horizontal direction (row direction) and the vertical direction (column direction). Has been.
[0023]
Each pixel PIX includes two photodiode regions 21 and 22 having different sensitivities. The first photodiode region 21 has a relatively large area, and constitutes a main photosensitive portion (hereinafter referred to as a main photosensitive pixel). The second photodiode region 22 has a relatively small area and constitutes a corresponding photosensitive portion (hereinafter referred to as a sub-photosensitive pixel). A vertical transfer path (VCCD) 23 is formed on the right side of the pixel PIX.
[0024]
The configuration shown in FIG. 1 is a pixel arrangement having a honeycomb structure, and pixels (not shown) are arranged at positions shifted by a half pitch in the horizontal direction above and below the two illustrated pixels PIX. A vertical transfer path 23 shown on the left side of each pixel PIX shown in FIG. 1 is for reading out and transferring charges from pixels (not shown) arranged above and below the image PIX. is there.
[0025]
As shown by dotted lines in FIG. 1, transfer electrodes 24, 25, 26, and 27 (collectively indicated by EL) necessary for four-phase driving (φ1, φ2, φ3, and φ4) are arranged above the vertical transfer path 23. Is done. For example, when the transfer electrode is formed of two-layer polysilicon, the first transfer electrode 24 to which the pulse voltage of φ1 is applied and the third transfer electrode 26 to which the pulse voltage of φ3 is applied are the first layer polysilicon. The second transfer electrode 25 formed of a silicon layer and applied with a pulse voltage of φ2 and the fourth transfer electrode 27 applied with a pulse voltage of φ4 are formed of a second polysilicon layer. The transfer electrode 24 also controls charge reading from the sub-photosensitive pixel 22 to the vertical transfer path 23. The transfer electrode 25 also controls charge reading from the main photosensitive pixel 21 to the vertical transfer path 23.
[0026]
2 is a cross-sectional view taken along line 2-2 in FIG. 1, and FIG. 3 is a cross-sectional view taken along line 3-3 in FIG. As shown in FIG. 2, a p-type well 31 is formed on one surface of the n-type semiconductor substrate 30. Two n-type regions 33 and 34 are formed in the surface region of the p-type well 31 to constitute a photodiode. A photodiode in the n-type region indicated by reference numeral 33 corresponds to the main photosensitive pixel 21, and a photodiode in the n-type region indicated by reference numeral 34 corresponds to the sub-photosensitive pixel 22. The p ⁺ type region 36 is a channel stop region that performs electrical separation of the pixel PIX, the vertical transfer path 23, and the like.
[0027]
As shown in FIG. 3, an n-type region 37 constituting the vertical transfer path 23 is arranged in the vicinity of the n-type region 33 constituting the photodiode. The p-type well 31 between the n-type regions 33 and 37 constitutes a read transistor.
[0028]
An insulating layer such as a silicon oxide film is formed on the surface of the semiconductor substrate, and a transfer electrode EL made of polysilicon is formed thereon. The transfer electrode EL is disposed so as to cover the vertical transfer path 23. An insulating layer such as silicon oxide is further formed on the transfer electrode EL, and a light shielding film 38 that covers the components such as the vertical transfer path 23 and has an opening above the photodiode is formed of tungsten or the like. .
[0029]
An interlayer insulating film 39 made of phosphosilicate glass or the like is formed so as to cover the light shielding film 38, and the surface thereof is flattened. A color filter layer (on-chip color filter) 40 is formed on the interlayer insulating film 39. The color filter layer 40 includes, for example, three or more color areas such as a red area, a green area, and a blue area, and one color area is assigned to each pixel PIX.
[0030]
A microlens (on-chip microlens) 41 corresponding to each pixel PIX is formed on the color filter layer 40 using a resist material or the like. One microlens 41 is formed on each pixel PIX and has a function of converging light incident from above into an opening defined by the light shielding film 38.
[0031]
Light incident through the microlens 41 is color-separated by the color filter layer 40 and is incident on each photodiode region of the main photosensitive pixel 21 and the sub-photosensitive pixel 22. The light incident on each photodiode region is converted into signal charges corresponding to the amount of light, and read out separately to the vertical transfer path 23.
[0032]
The primary photosensitive pixel 21 and the secondary photosensitive pixel 22 can acquire optically in-phase information, and the primary photosensitive pixel 21 and the secondary photosensitive pixel 22 in the same pixel cell have substantially the same position. Can be handled as
[0033]
In this way, two types of image signals (high-sensitivity image signal and low-sensitivity image signal) having different sensitivities can be separately extracted from one pixel PIX, and an optically in-phase image signal is obtained.
[0034]
FIG. 4 shows the arrangement of the pixels PIX and the vertical transfer paths 23 in the light receiving area PS of the CCD 20. The pixel PIX has a honeycomb structure in which the center points of the geometrical shape of the cells are arranged so as to be shifted by half the pixel pitch (1/2 pitch) every other row direction and column direction. That is, in the rows (or columns) of pixels PIX adjacent to each other, the cell arrangement in one row (or column) is in the row direction (or column direction) with respect to the cell arrangement in the other row (or column). The structure is arranged so as to be relatively shifted by approximately ½ of the arrangement interval.
[0035]
In FIG. 4, a VCCD driving circuit 44 for applying a pulse voltage to the transfer electrode EL is disposed on the right side of the light receiving region PS in which the pixels PIX are arranged. Each pixel PIX includes the main photosensitive pixel 21 and the secondary photosensitive pixel 22 as described above. The vertical transfer path 23 is arranged meandering close to each column.
[0036]
Further, a horizontal transfer path (HCCD) 45 that transfers the signal charges transferred from the vertical transfer path 23 in the horizontal direction is provided below the light receiving area PS (the lower end side of the vertical transfer path 23).
[0037]
The horizontal transfer path 45 is constituted by a transfer CCD driven by two phases, and the final stage (the leftmost stage in FIG. 4) of the horizontal transfer path 45 is connected to the output unit 46. The output unit 46 includes an output amplifier, performs charge detection of the input signal charge, and outputs it as a signal voltage to the output terminal. In this way, a signal photoelectrically converted by each pixel PIX is output as a dot-sequential signal sequence.
[0038]
FIG. 5 shows another structural example of the CCD 20. 5 is a plan view, and FIG. 6 is a cross-sectional view taken along line 6-6 of FIG. In these drawings, members that are the same as or similar to those shown in FIGS. 1 and 2 are given the same reference numerals, and descriptions thereof are omitted.
[0039]
As shown in FIGS. 5 and 6, a p ⁺ type separation region 48 is formed between the main photosensitive pixel 21 and the sub photosensitive pixel 22. The isolation region 48 functions as a channel stop region (channel stopper), and electrically isolates the photodiode region. A light shielding film 49 is formed above the separation region 48 at a position corresponding to the separation region 48.
[0040]
By using the light shielding film 49 and the separation region 48, the incident light is efficiently separated and the charges accumulated in the main photosensitive pixel 21 and the sub photosensitive pixel 22 are prevented from being mixed thereafter. Other configurations are the same as those of the example shown in FIGS.
[0041]
Further, the cell shape and the opening shape of the pixel PIX are not limited to the examples shown in FIGS. 1 and 5 and can take various forms such as a polygon and a circle. Furthermore, the separation shape (division form) of each light receiving cell is not limited to the shape shown in FIG. 1 or FIG.
[0042]
FIG. 7 shows still another structural example of the CCD 20. In FIG. 7, the same or similar members as those in the example shown in FIG. 1 and FIG. FIG. 7 shows a configuration in which two photosensitive portions (21, 22) are separated in an oblique direction.
[0043]
In this way, it is sufficient if the charges accumulated in each divided photosensitive area can be read out separately to the vertical transfer path, and the division shape, the number of divisions, the size relationship of the areas, etc. are appropriately designed. However, the area of the sub-photosensitive pixel is set to a smaller value than the area of the main photosensitive pixel. In addition, it is preferable to suppress a decrease in the area of the main photosensitive portion and minimize a decrease in sensitivity.
[0044]
FIG. 8 is a graph showing the photoelectric conversion characteristics of the main photosensitive pixel 21 and the secondary photosensitive pixel 22. The horizontal axis represents the amount of incident light, and the vertical axis represents the image data value (QL value) after A / D conversion. In this example, 12-bit data is illustrated, but the number of bits is not limited to this.
[0045]
As shown in the figure, the sensitivity ratio between the main photosensitive pixel 21 and the sub photosensitive pixel 22 is 1: 1 / a (where a> 1, a = 16 in this example). The output of the main photosensitive pixel 21 gradually increases in proportion to the amount of incident light. When the amount of incident light is “c”, the output reaches a saturation value (QL value = 4095). Thereafter, even if the amount of incident light increases, the output of the main photosensitive pixel 21 becomes constant. This “c” will be referred to as the saturation light amount of the main photosensitive pixel 21.
[0046]
On the other hand, the sensitivity of the sub-photosensitive pixel 22 is 1 / a of the sensitivity of the main photosensitive pixel 21, and is saturated at a QL value = 4095 / b when the amount of incident light is α × c (where b> 1, α = a / b, in this example b = 4, α = 4). “Α × c” at this time is referred to as a saturation light amount of the sub-photosensitive pixel 22.
[0047]
In this way, by combining the main photosensitive pixel 21 and the sub photosensitive pixel 22 having different sensitivities and saturations, the dynamic range of the CCD 20 can be expanded α times compared to the configuration of only the main photosensitive pixel. In this example, the dynamic range is expanded about four times with a sensitivity ratio of 1/16 and a saturation ratio of 1/4. When the maximum dynamic range when only the main photosensitive pixels are used is 100%, in this example, the dynamic range is expanded up to about 400% by utilizing the sub photosensitive pixels.
[0048]
As described above, in an image sensor such as a CCD, light received by a photodiode through a color filter such as RGB or C (cyan), M (magenta), and Y (yellow) is converted into the signal. Of this, how much light information is obtained depends on the optical system including the lens, CCD sensitivity, and saturation. For elements with relatively high sensitivity but a small amount of charge that can be stored, and elements with relatively low sensitivity but a large amount of charge that can be stored, the latter is more intense than the incident light. However, an appropriate signal can be provided, and the dynamic range is wide.
[0049]
As means for setting how to respond to the intensity of light, (1) adjust the amount of light entering the photodiode, (2) change the amplifier gain of the source follower that receives light and changes it to voltage , Etc. In the case of (1), it can be adjusted with respect to the photodiode by the light transmission characteristics and relative positional relationship of the microlens in the upper layer portion. On the other hand, the amount of charge that can be accumulated is determined by the size of the photodiode and the like. As described with reference to FIGS. 1 to 7, by arranging two photodiodes (21, 22) having different sizes, signals that can respond to contrast ratios of different light can be obtained. By adjusting the sensitivity of the two photodiodes (21, 22), it is possible to finally realize an imaging device (CCD 20) having a wide dynamic range.
[0050]
[Example of camera capable of wide dynamic range imaging]
Next, an electronic camera equipped with the above-described wide dynamic range imaging CCD 20 will be described.
[0051]
FIG. 9 is a block diagram showing the configuration of the electronic camera according to the embodiment of the present invention. This camera 50 is equipped with the CCD 20 as the image sensor 51, and is a digital camera that converts an optical image of a subject imaged through the CCD 20 into digital image data and records it in an image recording unit 52 such as a recording medium. is there.
[0052]
The camera 50 includes a display unit 54, and can display a video being captured, a reproduced image of recorded image data, and the like on the display unit 54.
[0053]
The overall operation of the camera 50 is centrally controlled by a central processing unit (CPU) 56 built in the camera. The CPU 56 functions as a control means for controlling the camera system according to a predetermined program, and performs various calculations such as automatic exposure (AE) calculation, automatic focus adjustment (AF) calculation, and auto white balance (AWB) control. Functions as a means.
[0054]
The CPU 56 is connected to the memory 60 via a bus (not shown). The memory 60 includes a nonvolatile memory (ROM) area in which programs executed by the CPU 56 and various data necessary for control are stored, a volatile memory (RAM) used as a program development area and a calculation work area of the CPU 56. ) Area. The RAM area is also used as a temporary storage area for image data. The memory 60 has a RAW recording condition storage area 61, in which condition data relating to RAW image recording is stored.
[0055]
For the display unit 54, for example, a color liquid crystal display is used. Instead of the liquid crystal display, other types of display devices (display means) such as an organic EL may be used. The display unit 54 can be used as an electronic viewfinder for checking the angle of view at the time of shooting, and is also used as a means for reproducing and displaying a recorded image or a preview display means for checking the content of an image before recording. The display unit 54 is also used as a user interface display screen, and displays information such as menu information, selection items, and setting contents as necessary.
[0056]
The camera 50 is provided with an operation unit 64 for a user to input various commands. The operation unit 64 includes various operation units such as a shutter button, a zoom switch, and a mode switch. The shutter button is an operation means for inputting an instruction to start photographing, and is composed of a two-stroke switch having an S1 switch that is turned on when half-pressed and an S2 switch that is turned on when fully pressed. When S1 is on, AE and AF processing are performed, and when S2 is on, recording exposure is performed. The zoom switch is an operation means for changing the photographing magnification and the reproduction magnification. The mode switch is an operation means for switching between the shooting mode and the playback mode.
[0057]
In addition to the above, the operation unit 64 has a shooting mode setting for setting an optimum operation mode (continuous shooting mode, auto shooting mode, manual shooting mode, portrait mode, landscape mode, night view mode, etc.) according to the shooting purpose. Means, a menu button for displaying a menu screen on the display unit 54, a cross button (cursor moving operation means) for selecting a desired item from the menu screen, an OK button for instructing selection confirmation and execution of processing, a selection item, etc. Canceling the target object, canceling the contents of the instruction, cancel button for inputting a command to return to the previous operation state, ON / OFF of the display unit 54, switching of the display method, or display / on-screen display (OSD) Display button for switching non-display, RAW recording ON / OFF switch, RAW image selection button 65 Operating means such as compressed again record button 66 is also included.
[0058]
The RAW recording ON / OFF switch is an operation switch for selecting whether or not to record RAW data. By this switch, the RAW data recording mode and the normal image recording mode (a mode for recording data subjected to image signal processing in accordance with a predetermined signal processing algorithm) can be appropriately switched.
[0059]
The normal image recording mode is a mode in which various processing is performed on the photographed image data inside the camera, and the image data is converted into a general-purpose image file format typified by JPEG or TIFF and recorded. The image data recorded in this mode has the advantage that it can be easily viewed and managed by a general image viewer (image viewing software, etc.). There is a restriction that the degree of freedom when processing an image in a process is low and sufficient image quality cannot be obtained.
[0060]
On the other hand, the RAW data recording mode is a mode in which the raw data output from the CCD 20 is recorded as it is. RAW image data recorded in this mode can be processed with high quality and high flexibility without impairing abundant gradation by using a tool such as application software for image processing. Therefore, it is suitable for performing image processing work according to the purpose of use of the image and the photographer's intention to express, such as large-scale printing and high-quality printing.
[0061]
The RAW image selection button 65 is an operation means for selecting a RAW image recorded in the image recording unit 52 as a target for compression re-recording. The compression / rerecord button 66 is an operation means for instructing execution of a process of compressing a RAW image according to selection and re-recording it in the image recording unit 52.
[0062]
Note that the operation unit 64 is not limited to a push-type switch member, dial member, lever switch, or the like, but also includes those realized by a user interface for selecting a desired item from a menu screen. It is.
[0063]
A signal from the operation unit 64 is input to the CPU 56. The CPU 56 controls each circuit of the camera 50 based on an input signal from the operation unit 64. For example, lens driving control, photographing operation control, charge readout control from the CCD 20, image processing control, image data recording / reproduction control, File management in the image recording unit 52, capacity management of the image recording unit 52 (including detection of free space), display control of the display unit 54, and the like are performed.
[0064]
Next, the shooting function of the camera 50 will be described.
[0065]
An imaging lens 70, a diaphragm 71, a mechanical shutter 72, and an imaging element 51 are provided in the imaging unit of the camera 50. In this example, the CCD 20 is used as the image sensor 51. However, instead of the CCD 20, an image sensor of another type such as a MOS type solid-state image sensor can be used.
[0066]
The photographic lens 70 is composed of an electric zoom lens. Although a detailed optical configuration is not shown, it mainly contributes to a variable power lens group and a correction lens group that cause a magnification change (focal length variable) action and focus adjustment. Including a focus lens.
[0067]
When the photographer operates the zoom switch of the operation unit 64, an optical system control signal is output from the CPU 56 to the lens driving unit 74 in accordance with the switch operation. The lens driving unit 74 generates a lens driving signal based on a control signal from the CPU 56 and supplies the lens driving signal to a motor (not shown). Thus, the motor is operated, and the zoom lens group and the correction lens group in the photographing lens 70 are moved back and forth along the optical axis, whereby the focal length (optical zoom magnification) of the photographing lens 70 is changed.
[0068]
The light that has passed through the photographing lens 70 is incident on the light receiving surface of the CCD 20 through the diaphragm 71 and the mechanical shutter 72. A large number of photo sensors (light receiving elements) are arranged in a plane on the light receiving surface of the CCD 20, and primary color filters of red (R), green (G), and blue (B) are arranged in a predetermined arrangement corresponding to each photo sensor. Arranged in structure. A color filter such as CMY can be used instead of the RGB color filter.
[0069]
The subject image formed on the light receiving surface of the CCD 20 is converted into a signal charge of an amount corresponding to the amount of incident light by each photosensor. The CCD 20 has an electronic shutter function for controlling the charge accumulation time (shutter speed) of each photosensor according to the timing of the shutter gate pulse.
[0070]
The signal charge accumulated in each photosensor of the CCD 20 is a voltage corresponding to the signal charge based on pulses (horizontal drive pulse φH, vertical drive pulse φV, overflow drain pulse) given from the image sensor driving unit 76 in accordance with a command from the CPU 56. It is sequentially read out as a signal (image signal). The image signal output from the CCD 20 is converted into a digital signal by the A / D converter 77 and then sent to the signal processing unit 78.
[0071]
The signal processing unit 78 is a digital signal processing block that also serves as a memory controller that controls reading and writing of the memory 60. The signal processing unit 78 interpolates the spatial shift of the color signal associated with the color filter array of the single-chip CCD, an auto calculation unit that performs AE / AF / AWB processing, a white balance circuit, a gamma conversion circuit, and a synchronization circuit. A processing circuit for calculating the color of each point), a luminance / color difference signal generation circuit, a contour correction circuit, a contrast correction circuit, a compression / decompression circuit, a display signal generation circuit, and the like, and a memory according to a command from the CPU 56 60 is used to process the image signal.
[0072]
Data (CCD RAW data) stored in the memory 60 after A / D conversion is sent to the signal processing unit 78 via the bus. The image data sent to the signal processing unit 78 is subjected to predetermined signal processing such as white balance adjustment processing, gamma conversion processing, conversion processing to luminance signals (Y signals) and color difference signals (Cr, Cb signals) (YC processing). Is stored in the memory 60.
[0073]
When the captured image is output to the display unit 54 on the monitor, the image data is read from the memory 60 and sent to the display conversion circuit of the signal processing unit 78. The image data sent to the display conversion circuit is converted into a predetermined display signal (for example, an NTSC color composite video signal) and then output to the display unit 54. The image data in the memory 60 is periodically rewritten by the image signal output from the CCD 20, and the video signal generated from the image data is supplied to the display unit 54, so that the video being captured (through image) can be obtained. It is displayed on the display unit 54 in real time. The photographer can confirm the angle of view (composition) by the through image displayed on the display unit 54.
[0074]
When the photographer determines the angle of view and presses the shutter button, the CPU 56 detects this and performs shooting preparation operations such as AE processing and AF processing in response to half-pressing of the shutter button (S1 = ON). In response to full depression of (S2 = ON), CCD exposure and readout control for capturing a recording image is started.
[0075]
That is, the CPU 56 performs various calculations such as a focus evaluation calculation and an AE calculation from the image data captured in response to S1 = ON, and sends a control signal to the lens driving unit 74 based on the calculation result, not shown. The focus lens is moved to the in-focus position by controlling the AF motor.
[0076]
The AE calculation unit of the auto calculation unit includes a circuit that divides one screen of a captured image into a plurality of areas (for example, 8 × 8) and integrates RGB signals for each divided area, and provides the integrated value to the CPU 56. To do. The integrated value may be obtained for each of the RGB color signals, or the integrated value may be obtained for only one of these colors (for example, the G signal).
[0077]
The CPU 56 performs weighted addition based on the integrated value obtained from the AE calculation unit, detects the brightness of the subject (subject brightness), and calculates an exposure value (shooting EV value) suitable for shooting.
[0078]
The CPU 56 determines the aperture and shutter speed based on the above AE calculation result. Then, the CPU 56 controls the aperture drive unit 79 and the shutter drive unit 80 in response to S2 = ON, and controls the exposure amount when the recording image is acquired.
[0079]
The camera 50 of this example reads data from only the main photosensitive pixel 21 during the through image, and creates an image for the through image from the image signal of the main photosensitive pixel 21. In addition, the AE process and the AF process associated with S1 = ON of the shutter button are performed based on a signal obtained from the main photosensitive pixel 21. When a shooting mode for performing wide dynamic range imaging is selected, or when a wide dynamic range imaging mode is automatically selected based on an AE result (ISO sensitivity or photometric value) or a white balance gain value First, in response to the shutter button S2 = ON, the CCD 20 is exposed, and after exposure, the mechanical shutter 72 is closed to block light from entering, and the main photosensitive pixel is first synchronized with the vertical drive signal (VD). Then, the charge of the sub-photosensitive pixel 22 is read out. As described above, two pieces of image information having different dynamic ranges can be acquired by one imaging.
[0080]
Although not shown in FIG. 9, the camera 50 has a strobe device. The strobe device is a block including a discharge tube (for example, a xenon tube) serving as a light emitting unit, a trigger circuit, a main capacitor for storing discharge energy, and a charging circuit thereof. The CPU 56 sends a command to the strobe device as necessary to control the light emission of the strobe device.
[0081]
Thus, the image data captured in response to the full press of the shutter button (S2 = ON) is subjected to YC processing and other predetermined signal processing in the signal processing unit 78, and then a predetermined compression format (for example, if necessary) , JPEG method) and recorded in the image recording unit 52 via a media interface unit (not shown in FIG. 9).
[0082]
The camera 50 of this example can select a plurality of types of recording pixel numbers (image sizes) in accordance with the purpose of photographing, and can select a plurality of types of compression rates. The user can specify a desired condition through a predetermined user interface from a plurality of combinations of recording pixels and compression ratios prepared in advance, and an image is recorded under the specified condition. Note that the compression format is not limited to JPEG, and MPEG and other methods may be adopted.
[0083]
This camera 50 is a RAW that records uncompressed image data or does not perform signal processing such as synchronization or YC processing in place of or in combination with the normal image recording (compressed image recording). Data can be recorded.
[0084]
Also in the mode for recording RAW data, normal image generation processing is performed based on the data, and reduced image (thumbnail image) data is generated by thinning-out processing. For example, it is stored in the header part).
[0085]
As a means for storing image data, various media such as a semiconductor memory card represented by xD Picture Card (trademark), SmartMedia (trademark), CompactFlash (trademark), a magnetic disk, an optical disk, and a magneto-optical disk are used. be able to. Further, the recording medium (internal memory) built in the camera 50 is not limited to the removable medium.
[0086]
When the playback mode is selected by the mode selection switch of the operation unit 64, the last image file (last recorded file) recorded in the image recording unit 52 is read out. The image file data read from the image recording unit 52 is subjected to expansion processing and other necessary processing in the signal processing unit 78, converted into a display signal, and output to the display unit 54.
[0087]
By operating the cross button during single-frame playback in playback mode, it is possible to advance forward or backward, and the next file related to frame advance specification is read from the image recording unit 52 and the display image is updated. Is done. If the file to be played is a file in which RAW data is recorded, the thumbnail image data stored in the header of the file is played back and displayed.
[0088]
FIG. 10 is a principal block diagram showing a signal processing flow in the signal processing unit 78. The image signal read from the high-sensitivity pixel (main photosensitive pixel) of the CCD 20 indicates information of a relatively low luminance portion. The image signal read from the low-sensitivity pixel (sub-photosensitive pixel) of the CCD 20 indicates information on a relatively high luminance portion.
[0089]
As illustrated, the signal processing unit 78 includes gain adjustment circuits 81 and 82, gamma correction circuits 83 and 84, and a synthesis / compression circuit 85.
[0090]
The gain adjustment circuits 81 and 82 include a gain variable amplifier for increasing / decreasing the levels of the R, G, and B color signals, and adjust the gain of each color signal based on a command from the CPU 56. The signals subjected to gain processing by the gain adjustment circuits 81 and 82 are sent to gamma correction circuits 83 and 84.
[0091]
The gamma correction circuits 83 and 84 convert the input / output characteristics so as to obtain a desired gamma characteristic in accordance with a command from the CPU 56. The signals output from the gamma correction circuits 83 and 84 are sent to the synthesis / compression circuit 85.
[0092]
The composition / compression circuit 85 includes a multiplier that multiplies the image data of the low luminance part by a coefficient, a multiplier that multiplies the image data of the high luminance part by a coefficient, the low sensitivity part image data and the high sensitivity part after the coefficient multiplication. An addition unit that adds (synthesizes) image data, a signal conversion unit that performs image generation (such as YC processing) and various corrections from the combined image data obtained from the addition unit, and image data generated by the signal conversion unit A processing block including a compression unit that compresses. Each coefficient (coefficient indicating the addition ratio) to be multiplied by the image data of the low sensitivity portion and the image data of the high sensitivity portion is variably set by the CPU 56.
[0093]
When recording a wide dynamic range image, the image information of the low luminance part obtained from the main photosensitive pixel of the CCD 20 is subjected to gain adjustment in the gain adjustment circuit 81 and then gamma corrected in the gamma correction circuit 83 and synthesized. Sent to the compression circuit 85
[0094]
Subsequently, the image information of the high brightness portion obtained from the sub-photosensitive pixels of the CCD 20 is subjected to gain adjustment in the gain adjustment circuit, then gamma corrected in the gamma correction circuit 84 and sent to the synthesis / compression circuit 85.
[0095]
The image information of the low luminance part and the image information of the high luminance part are synthesized by the synthesis / compression circuit 85 and subjected to necessary signal processing to generate an image. Thereafter, the image data is compressed according to a predetermined compression format and sent to the image recording unit 52.
[0096]
On the other hand, when the RAW data recording mode is selected, the signal processing such as the above gain adjustment is omitted, and the RAW data of the low luminance part and the RAW data of the high luminance part are respectively sent to the image recording unit 52. , Recorded and saved as separate files.
[0097]
In the RAW data recording mode, as described above, the A / D conversion output of the image signal output from the CCD 20 is recorded as it is (unprocessed). That is, the RAW data is subjected to signal processing such as gamma conversion, white balance adjustment, and synchronization (a process of calculating the color of each point by interpolating the spatial shift of the color signal associated with the color filter array of the single CCD). Raw image data that has not been performed. However, “raw data” does not exclude any signal processing. For example, an image obtained by performing defective pixel correction processing that interpolates defective pixel data of an image sensor. Data or data that has only undergone gain adjustment is also included in the concept of RAW data in that it has not been converted to a general-purpose format.
[0098]
The low luminance part image data file and the high luminance part image data file acquired in the RAW data recording mode are recorded in association with each other. As a method of association to ensure the relationship between two files, for example, a mode in which a part of a file name is shared and the other part is changed, a mode in which an extension is changed with the same file name, and association information is a file There is a mode of recording as ancillary information (for example, tag information), or a combination thereof.
[0099]
When reproducing RAW data, it is possible to read two files according to the above association. By using the low luminance portion image data and the high luminance portion image data, it is possible to reproduce an image having a wide luminance range. In implementing the present invention, the low luminance portion image data file and the high luminance portion image data file are not limited to being stored in separate files, and the low luminance portion raw data and the high luminance portion raw data are stored. There may be a mode in which the files are recorded together in one file.
[0100]
The operation of the camera 50 configured as described above will be described.
[0101]
FIG. 11 is a flowchart showing a control procedure when the camera 50 is in the shooting mode.
[0102]
The control flow in FIG. 11 starts when the camera power is turned on with the shooting mode selected or when the playback mode is switched to the shooting mode with the power turned on.
[0103]
When the shooting mode process starts (step S100), the CPU 56 performs a predetermined initial process and then accepts a release operation (step S110). The CPU 56 monitors the signal input from the shutter button, and determines whether or not the S1 switch is turned on (step S112). If the S1 switch is OFF, the process returns to step S110 and waits for input of a shooting instruction.
[0104]
Thereafter, when the shutter button is pressed by the photographer and an instruction to prepare for photographing is input (when the CPU 56 detects S1 = ON), the process proceeds to step S114, and AE and AF processes are performed. Shooting conditions are determined by AE processing, and focus adjustment is performed by AF processing.
[0105]
Thereafter, the CPU 56 determines signal input from the S2 switch of the shutter button (step S116). If the S2 switch is not turned on in step S116, it is determined whether or not S1 is released (step S118). If S1 has been canceled in step S118, the process returns to step S110 and waits for input of a shooting instruction.
[0106]
On the other hand, if S1 is not canceled in step S118, the process returns to step S116, and the input of S2 = ON is waited in the photographing standby state. When an input of S2 = ON is detected in step S118, the process proceeds to step S120, and a photographing operation (CCD exposure) for acquiring a recording image is performed.
[0107]
After the exposure, the mechanical shutter 72 is closed. First, a signal is read from the main photosensitive pixel 21 (step S122), and the image data (main photosensitive portion data) is stored in the memory 60.
[0108]
Next, signals are read from the sub-photosensitive pixels 22 (step S124), and the image data (sub-photosensitive portion data) is stored in the memory 60.
[0109]
Next, the CPU 56 determines whether or not the RAW data recording mode is selected (step S126). This determination is made based on the state of the RAW recording ON / OFF switch of the operation unit 64. If NO in step S126, that is, if the normal recording mode is selected, the process proceeds to step S128.
[0110]
In step S128, the data (low luminance part signal) obtained from the main photosensitive pixel 21 is processed to perform gain adjustment, gamma correction, and the like (see FIG. 10).
[0111]
Further, as described with reference to FIG. 10, signal processing such as gain adjustment and gamma correction is performed on the data (high luminance signal) obtained from the sub-photosensitive pixels 22 (step S130 in FIG. 11).
[0112]
Thereafter, the low luminance image data obtained in step S128 and the high luminance image data obtained in step S130 are combined to generate a single wide dynamic range image, and the image data is compressed (step S132). ) And stored in the image recording unit 52 (step S134). In this way, the combined image is recorded in the image recording unit 52, and the photographing process is ended (step S140).
[0113]
When the RAW data recording mode is selected in step S126, the RAW data obtained from the main photosensitive pixel 21 (RAW data in the low luminance part) and the RAW data obtained from the sub photosensitive pixel 22 (in the high luminance part). RAW data) is recorded (steps S136 and S138). In this way, the RAW data of the low luminance part and the high luminance part are stored in the image recording unit 52.
[0114]
When the RAW data recording process is completed as described above, the main imaging sequence is terminated (step S140).
[0115]
Next, the re-recording function for recorded RAW images will be described.
[0116]
FIG. 12 is a flowchart showing the procedure of the RAW image compression and re-recording process. When the mode selector switch is set to “reproduction mode”, the control flow of FIG. 12 starts.
[0117]
When the playback mode process is started (step S200), the image data recorded in the image recording unit 52 is read, and the image content is displayed on the display unit 54 (step S210). The display form at this time may be a form in which a single image is displayed on the screen of the display unit 54 (single frame playback mode), or the display screen is divided into a plurality of areas (for example, 3 × 3 9). A mode in which a plurality of images are simultaneously displayed on the display unit 54 (multi-playback mode) may be employed. The user can appropriately switch the display mode by operating the display button.
[0118]
The camera accepts an operation from the user while the reproduced image is displayed (step S212). The CPU 56 determines a signal input from the operation unit 64 and performs a process according to the input command. That is, the CPU 56 determines whether or not the RAW image selection button 65 has been pressed (step S214). If YES, a selection mark indicating that the selected RAW image is a selection target is given (step S216).
[0119]
The selection mark includes, for example, information for the CPU 56 to identify a file to be selected (for example, a selected flag) and information for identifying the selection target on the screen of the display unit 54 (for example, selected). For example).
[0120]
After step S216 or if NO in step S214, the process proceeds to step S218. In step S218, the CPU 56 determines whether or not a frame advance operation has been performed. When a frame feed command in the forward direction or the reverse direction is input, processing for changing the selection target is performed according to the command in the feed direction (step S220), and the process returns to step S210. When a frame advance operation is performed in the single frame playback mode, the file to be played is changed and the image display on the display unit 54 is updated. In addition, when a frame advance operation is performed in the multi playback mode, the cursor indicating the selected image moves.
[0121]
In this way, the user can designate a RAW image to be rerecorded while confirming the image content.
[0122]
If NO is determined in step S218, the process proceeds to step S220, and the CPU 56 determines whether or not the compression re-record button 66 has been pressed. If the compression / record button 66 has not been pressed, the process returns to step S210 and the above processing is repeated. On the other hand, after selecting a frame to be re-recorded, the user presses the compression / re-record button 66 to instruct execution of the process. When it is detected in step S220 that the compression / recording button 66 has been pressed, the camera 50 executes a process of compressing only the information on the low-luminance part of the designated RAW image and re-recording it in the image recording unit 52. (Step S222). For example, a process of generating a JPEG image from only the information of the low luminance part and recording it in the image recording unit 52 is performed.
[0123]
At this time, if the specified RAW image is re-recorded after being compressed, both the high-luminance portion and the low-luminance portion RAW data for the RAW image are deleted from the image recording portion 52. Thereby, the free space of the image recording unit 52 increases. Thus, the re-recording sequence is completed.
[0124]
Although FIG. 12 illustrates an example in which only the information of the low luminance portion is compressed and rerecorded in the designated RAW image, in the implementation of the present invention, whether the information of the high luminance portion is also compressed and rerecorded. The user may select whether or not. Furthermore, a mode may be added in which the information of the low luminance portion and the high luminance portion is combined, and the combined image is compressed and re-recorded.
[0125]
In FIG. 12, an example in which the compression re-recording process is performed in the playback mode has been described. However, when the present invention is implemented, the mode can be changed from the menu screen or the like to the compression re-recording process mode during the shooting mode. May be.
[0126]
In the above description, a CCD having a honeycomb structure pixel array has been described as an example. However, the scope of application of the present invention is not limited to this, and an image sensor having a pixel array in which all pixels are arranged in a square matrix is used. You can also.
[0127]
In the above embodiment, an image sensor having a structure in which each pixel cell is divided into a main photosensitive pixel and a sub-photosensitive pixel is used. However, in implementing the present invention, image information of a low luminance part and a high luminance part are used. The means for obtaining the image information is not limited to this example.
[0128]
A mode in which the pixel cell of the main photosensitive pixel and the pixel cell of the sub-photosensitive pixel form light receiving portions having different openings on the light receiving surface of the image sensor may be used.
[0129]
In addition, by using an image sensor composed of a single type of pixel cell, such as a main photosensitive pixel and a sub-photosensitive pixel, by changing the exposure condition and performing imaging multiple times (at least twice), low It is also possible to obtain the image information of the luminance part and the image information of the high luminance part.
[0130]
In the above-described embodiment, a digital camera has been exemplified, but the scope of application of the present invention is not limited to this, and an electronic imaging function such as a video camera, a DVD camera, a mobile phone with a camera, a PDA with a camera, a mobile computer with a camera, etc. The present invention can also be applied to other imaging apparatuses provided.
[0131]
【The invention's effect】
As described above, according to the present invention, the user can select a desired image from the recorded RAW images, and the data of the low-intensity part of the selected RAW image is compressed and re-recorded, and the original RAW image is recorded. Since the data in the high-luminance part and low-luminance part of the image is erased, the recording part is freed up by executing the compression and re-recording process as necessary when the remaining capacity of the recording part is reduced. The capacity can be increased, and the number of recordable images can be increased.
[0132]
In addition, according to the present invention, all of the high-quality RAW data is recorded at the time of shooting, and the importance (necessity) of the information of the high-intensity portion is judged. Can be saved again with medium to low image quality. Thereby, an easy-to-use image recording apparatus can be realized.
[Brief description of the drawings]
FIG. 1 is a plan view showing an example of the structure of a light receiving surface of a CCD image pickup device. FIG. 2 is a cross-sectional view taken along line 2-2 in FIG. 1 is a schematic plan view showing the overall configuration of the CCD shown in FIG. 1. FIG. 5 is a plan view showing another structural example of the CCD. FIG. 6 is a cross-sectional view taken along line 6-6 in FIG. FIG. 8 is a plan view showing another structural example. FIG. 8 is a graph showing photoelectric conversion characteristics of a main photosensitive pixel and a sub photosensitive pixel. FIG. 9 is a block diagram showing a configuration of an electronic camera according to an embodiment of the invention. FIG. 11 is a flowchart showing the control procedure in the shooting mode of the camera of this example. FIG. 12 is a flowchart of the RAW image compression / rerecording process in the camera of this example. Flow chart showing the procedure [Explanation of symbols]
DESCRIPTION OF SYMBOLS 20 ... CCD, 21 ... Photodiode area | region (main photosensitive pixel), 22 ... Photodiode area | region (sub-photosensitive pixel), 23 ... Vertical transfer path, 40 ... Color filter layer, 41 ... Micro lens, 50 ... Camera, 51 ... Imaging Element 52... Image recording unit 54. Display unit 56. CPU 60. Memory 64. Operation unit 65. Raw image selection button 66.

Claims (3)

被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、
前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、
前記第１の撮像手段により取得された低輝度部の画像情報及び前記第２の撮像手段により取得された高輝度部の画像情報にそれぞれ処理を加えないＲＡＷ画像を記録部に記録するＲＡＷ画像記録処理手段と、
前記記録部に記録されたＲＡＷ画像のうち所望の画像を選択するための選択操作手段と、
前記選択操作手段で選択されたＲＡＷ画像の低輝度部のデータを圧縮する圧縮手段と、
前記圧縮手段により生成された低輝度部の圧縮画像を前記記録部に記録する再記録処理手段と、
前記再記録処理手段により前記圧縮画像の記録が行われると、前記選択に係る元のＲＡＷ画像の低輝度部及び高輝度部のデータを前記記録部から消去する消去処理手段と、
を備えていることを特徴とする画像記録装置。A first imaging means for converting an optical image of a subject into an electrical signal and obtaining image information of a relatively low-luminance portion;
A second imaging means for converting the optical image of the subject into an electrical signal and obtaining image information of a relatively high brightness portion;
RAW image recording for recording in the recording unit a RAW image that is not subjected to processing on the image information of the low-luminance part acquired by the first imaging unit and the image information of the high-luminance part acquired by the second imaging unit. Processing means;
A selection operation means for selecting a desired image from among the RAW images recorded in the recording unit;
Compression means for compressing the data of the low luminance part of the RAW image selected by the selection operation means;
Re-recording processing means for recording the compressed image of the low-intensity part generated by the compression means in the recording part;
When the compressed image is recorded by the re-recording processing unit, an erasing processing unit for erasing data of the low-luminance part and the high-luminance part of the original RAW image related to the selection from the recording unit;
An image recording apparatus comprising: 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の副感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記副感光画素からそれぞれ画像信号を取り出すことができる構造を有する撮像素子が用いられ、
前記主感光画素は前記第１の撮像手段として機能し、前記副感光画素は前記第２の撮像手段として機能することを特徴とする請求項１記載の画像記録装置。A plurality of high-sensitivity main photosensitive pixels having a relatively narrow dynamic range and low-sensitivity sub-photosensitive pixels having a relatively wide dynamic range are arranged in accordance with a predetermined arrangement form, and the main photosensitive pixel and the sub-photosensitive pixels are arranged in one exposure. An image sensor having a structure capable of extracting an image signal from each photosensitive pixel is used,
2. The image recording apparatus according to claim 1, wherein the main photosensitive pixel functions as the first imaging unit, and the sub photosensitive pixel functions as the second imaging unit. 前記撮像素子は、各受光セルが少なくとも前記主感光画素及び前記副感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記副感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする請求項２記載の画像記録装置。The imaging device has a structure in which each light receiving cell is divided into a plurality of light receiving regions including at least the main photosensitive pixel and the sub photosensitive pixel, and the main photosensitive pixel in the same light receiving cell and The color filter of the same color component is arrange | positioned about the said sub-photosensitive pixel, and each micro cell is provided in each light receiving cell with respect to one light receiving cell. Image recording device.

Images