JP6512916B2 - 撮像装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、撮像装置およびその制御方法ならびにプログラムに関し、特に映像データの記録技術に関する。

従来のデジタルカメラ等の撮像装置は、イメージセンサーによって撮像された生の画像信号（ＲＡＷ画像という）をデモザイク処理し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、歪曲収差補正、倍率色収差補正などの現像処理を行なう。そして、一般的に現像処理した輝度信号及び色差信号を圧縮符号化して記録媒体に記録する。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、現像処理を行っていないデータであるため、上記補正処理が施されておらず、劣化を最低限に抑えられ、撮影後に編集できる利点がある。このような利点から業務分野において好んで使用されている。

近年、イメージセンサーの高画素化や単位時間あたりの連写枚数の増大によって、ＲＡＷ画像に対する上述の現像処理に係るそれぞれの処理量が相乗的に増大し、撮像と並行してリアルタイムに現像処理を行うために必要な回路規模や消費電力が増大している。

このため、撮影時に一時的に記録したＲＡＷ画像を、ユーザ操作待ち状態や撮影準備状態など、比較的に処理負荷が低い状態において現像処理（追いかけ現像処理という）を行うことで現像処理に対する負荷分散を行う撮像装置が知られている。

一般にＲＡＷ画像はデータ量が大きいため、一時的に記録する場合であっても、記録媒体の容量を圧迫しないようにＲＡＷ画像に対して圧縮符号化処理が行われる。このため、撮像装置はＲＡＷ画像を符号化したデータ（符号化ＲＡＷ画像という）を生成したうえで記録する。なお、追いかけ現像処理を行う際には、符号化ＲＡＷ画像を復号した後に現像処理が行われる。

ところで、一般的な符号化技術については様々な提案がなされており、その圧縮率や処理時間はそれぞれ異なる。このため、要求される特性に応じて複数の符号化技術を切り替えて用いる技術が提案されている。具体的にはテキストや自然画などの圧縮対象の内容に応じて可逆符号化方式と非可逆符号化方式とを領域ごとに適応的に切り替える技術が提案されている（特許文献１）。

特開２００８−１０９１９５号公報

一般に追いかけ現像処理は、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの際に実施される。しかし、定期的に撮影が継続する場合や連写撮影、動画撮影等が長時間行われると、追いかけ現像処理を行う時間が不足する。

図２を参照して、符号化ＲＡＷ画像が記録される記録媒体内のデータ量の推移について説明する。図２は、記録媒体内の各データが占めるデータ量を模式的に示しており、斜線部分は記録媒体の空き容量を示している。図２（ａ）および図２（ｂ）は、追いかけ現像処理を行う時間が確保されて、当該処理が行われたときの記録媒体内のデータ量の推移を示している。一方、図２（ｃ）および（ｄ）は、追いかけ現像処理に必要な時間が不足したときの記録媒体内のデータ量の推移を示している。

図２（ａ）に示す撮影直後の記録媒体において、撮影時に記録された符号化ＲＡＷ画像２０１と、撮影前から記録されている動画像符号化データ２０２と静止画像符号化データ２０３が記録されており、空き容量２０６が存在している。動画像符号化データ２０２は、符号化ＲＡＷ画像を復号して現像した後に、例えばＨ．２６４符号方式で符号化して生成される。静止画像符号化データ２０３は、符号化ＲＡＷ画像を復号し、現像した後にＪＰＥＧ２０００方式で符号化して生成される。

図２（ｂ）は、図２（ａ）の状態から追いかけ現像処理が実行された後の記録媒体のデータ量を示している。符号化ＲＡＷ画像２０１のうち動画像をなすデータは、Ｈ．２６４方式の符号化処理後、動画像符号化データ２０２のデータ量に加算され、動画像符号化データ２０４になる。符号化ＲＡＷ画像２０１のうち静止画像をなすデータは、ＪＰＥＧ２０００方式の符号化処理後、静止画像符号化データ２０３のデータ量に加算され、静止画像符号化データ２０５となる。符号化ＲＡＷ画像２０１は、Ｈ．２６４もしくはＪＰＥＧに変換された時点で記録媒体から削除されるため、図２（ｂ）においてデータ量は０となる。このようにして、図２（ａ）における空き容量２０６は、図２（ｂ）では空き容量２０７となって増加している。

図２（ｃ）は、図２（ａ）の撮影直後の記録媒体の各データ量を示している。図２（ｄ）は、図２（ｃ）の状態からさらに撮影が継続し、追いかけ現像処理を実行する時間が不足したときの記録媒体の状態を示している。撮影が継続されているため、符号化ＲＡＷ画像２０１にさらに新たに記録された符号化ＲＡＷ画像のデータ量が加算され、符号化ＲＡＷ画像２０８により記録媒体の空き容量２０６が埋まってしまう。

これに対して、所定の特性を持つ符号化方式、例えば、圧縮率の高い符号化方式を用いてＲＡＷ画像を符号化することで、記録媒体の空き容量を確保することも考えられる。しかし、一般に圧縮率の高い符号化方式は演算量も膨大となるため、例えば空き容量に余裕がある場合や高速な復号処理を行いたい場合には、演算量の少ない符号化方式や別途適した符号化方式を用いたい場合もある。このように、より柔軟に符号化方式を変更して記録媒体の空き容量を確保することが望まれている。しかし、上記特許文献１は、圧縮対象の内容に応じて符号化方式を変更する構成であり、記録媒体の空き容量を確保するために符号化方式を変更することについては考慮していない。

本発明は、上述の従来技術の問題点に鑑みてなされ、記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能な撮像装置、制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、撮像素子による撮像信号から現像前画像を表すＲＡＷ画像データを得る撮像手段と、撮像手段により得られたＲＡＷ画像データを所定の符号化方式で符号化して記録媒体に記録する記録手段と、記録媒体に記録された符号化されたＲＡＷ画像データを読み出して現像する現像手段と、撮像手段による撮影期間に記録された符号化されたＲＡＷ画像データの量と、撮影期間でないときに現像手段により現像を行うために記録媒体から読み出された符号化されたＲＡＷ画像データの量とを比較し、比較の結果に応じてＲＡＷ画像データを符号化するための符号化方式を制御する制御手段とを有することを特徴とする。

本発明によれば、記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能になる。

本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 ＲＡＷ画像を記録する場合の記録部におけるデータ量の推移を示す図 本実施形態に係る追いかけ現像処理を行う際の記録部におけるデータ量の推移を説明する図 本実施形態に係る追いかけ現像処理において、可逆符号化方式と非可逆符号化方式を切り替えた場合の記録部のデータ量の推移を示す図 実施形態１に係る追いかけ現像処理の一連の動作を示すフローチャート 実施形態２に係るＲＡＷ符号化処理の一連の動作を示すフローチャート 実施形態３に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態３に係るＲＡＷ符号化処理の一連の動作を示すフローチャート（ａ）と、記録部のデータ量の推移を示す図（ｂ） 実施形態４に係るＲＡＷ符号化処理の一連の動作を示すフローチャート（ａ）と、記録部のデータ量の推移を示す図（ｂ） 実施形態５に係るＲＡＷ符号化処理の一連の動作を示すフローチャート 実施形態５に係る記録部のデータ量の推移を示す図 実施形態６に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、ＲＡＷ画像の記録が可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、ＲＡＷ画像の記録が可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

（１−１ デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

撮像部１０１は、撮像素子の各画素に設けられている赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光学被写体像を撮像し、その撮像信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、撮像画像データを生成する。撮像部１０１は、撮像画像データとして、画素単位の生のデジタル画像のデータ（ＲＡＷ画像データ）を出力する。撮像素子は、ＣＣＤ（Charge-Coupled Device）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーなどの撮像素子であってよい。また、カラーフィルターを構成する色や配列は例えば原色ベイヤー配列であってよいが、他の任意の配列を採用しても良い。

なお、撮像部１０１は、生成された撮像画像データに対して、画素の修復処理を施しても良い。ここでの修復処理には、撮像素子の欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、撮像素子の遮光された画素値を用いる等により所定のオフセット値を減算したりする処理が含まれる。本実施形態では、補正処理等の実施の有無に関わらず、実質的な現像の為されていない画像データについては現像前画像を表すＲＡＷ画像データ（又はＲＡＷ画像）として扱う。

さらに、撮像部１０１は、撮像画像データを後段のブロックに送るためデータバス（不図示）に流す際に、差分パルス符号変調（ＤＰＣＭ）等の符号化技術を用いて画像データのビット長の圧縮を行っても良い。このようにすればデータ送出時のバス帯域の占有量が軽減されるので効果的である。その場合、圧縮された画像データやその復元画像データについても、上述したＲＡＷ画像データの範疇として扱われる。

ウェーブレット変換部１０２は、撮像部１０１からＲＡＷ画像データを入力し、ＲＡＷ画像データに対してローパスフィルタおよびハイパスフィルタを用いて低周波成分と高周波成分に周波数分割を行う。設定された変換回数だけＲＡＷ画像データに対して変換処理を行った変換データを出力する。

第一量子化部１０３は、ウェーブレット変換部１０２から出力された変換データに対して、量子化処理を行う。例えば、得られた変換データを所定の値で除算して四捨五入することで、影響の小さい周波数成分を削除し、データ量をさらに減少させる。第一量子化部１０３は、制御部１１１からの制御に基づいて量子化処理を行う。即ち、第一量子化部１０３は、可逆符号化方式を適用する場合は量子化処理を行わず、非可逆符号化方式を適用する場合は量子化処理を行い、変換データのデータ量を削減する。また量子化処理を行う場合の量子化値、即ち変換データを除算する値も制御部１１１から入力される。第一量子化部１０３は、量子化された変換データを出力する。

エントロピー符号化部１０４は、第一量子化部１０３から出力された変換データを用いた可変長符号化を行って、さらにデータ圧縮を行い、圧縮したデータを出力する。

第二量子化部１０５は、制御部１１１からの制御に基づいて、エントロピー符号化部１０４から出力されたデータに対してさらに圧縮処理を行う。非可逆符号化方式を適用する場合、可変長符号化されたデータのうち、目標とする符号量に収まるように部分的にデータを削除する処理を行う。例えば表示しても人間の目には認識が困難である情報を符号化データから部分的に削除する。このため、第二量子化部１０５においてさらにデータ量は減少する。可逆符号化方式を適用する場合は、エントロピー符号化部１０４から出力されたエントロピー符号化されたデータをそのまま出力する。

計測部１０６は、記録部１０７によって書き込まれるデータ量と記録部１０７によって読み出されるデータ量を計測する。具体的には、第二量子化部１０５から出力された符号化ＲＡＷ画像の符号量を計測するとともに、記録部１０７から読み出された符号化ＲＡＷ画像の符号量を計測する。また、後述する符号化部１１０から出力される符号量も計測する。計測部１０６は、計測した総データ量を保持するとともに随時計測したデータ量の情報を制御部１１１へ出力する。計測部１０６は、制御部１１１の制御に基づいて、第二量子化部１０５から出力された符号化ＲＡＷ画像データおよび符号化部１１０から出力された符号化データを記録部１０７に出力する。そして、記録部１０７から読み出した符号化ＲＡＷ画像データを復号処理部１０８に出力する。

記録部１０７は、計測部１０６を介して入力した符号化ＲＡＷ画像を不図示の記録媒体に記録するほか、記録媒体に記録されている符号化ＲＡＷ画像を読み出して、計測部１０６に出力する。記録部１０７は、撮影された画像やそれに関連するデータを記録するための記録媒体であり、装置に内蔵された半導体メモリや磁気ディスク等や装置に着脱可能なメモリーカードなどのメモリメディアから構成される。なお、記録部１０７はＤＲＡＭ等の一時記憶素子であっても良い。記録部１０７は、記録媒体に記録されている符号化ＲＡＷ画像の読み出しを制御部１１１の指示に基づいて行う。

復号処理部１０８は、計測部１０６を介して入力した符号化ＲＡＷ画像の復号処理を行い、復号したデータを現像部１０９に出力する。

現像部１０９は、復号処理部１０８から出力された復号済ＲＡＷ画像に対してデモザイク処理を施して輝度と色差から成る信号に変換し、各信号に含まれるノイズ除去、歪曲収差補正、倍率色収差補正等の現像処理を行う。現像部１０９は、現像したＲＡＷ画像のデータ（現像ＲＡＷ画像）を符号化部１１０に出力する。

符号化部１１０は、現像部１０９から出力された現像ＲＡＷ画像が動画像である場合、ＭＰＥＧ２やＨ．２６４などに代表される符号化処理を行い、現像ＲＡＷ画像が静止画像である場合、ＪＰＥＧやＪＰＥＧ２０００などに代表される符号化処理を行う。符号化部１１０は、符号化処理を施したデータを計測部１０６に出力すると、制御部１１１の制御に基づいて、当該データは計測部１０６を介して記録部１０７によって記録される。このとき、記録部１０７は、符号化データの記録を完了すると、制御部１１１の制御に基づいて符号化データの元データとなる符号化ＲＡＷ画像を記録部１０７から削除する。

制御部１１１は、例えばＣＰＵあるいはＭＰＵであり、ＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開して実行することにより、デジタルカメラ１００全体を制御する制御部である。後述する追いかけ現像処理の全体を制御する。

操作部１１２は、撮影・記録、再生等のユーザによる操作指示を検出するボタンやタッチパネル等からなり、検出した操作指示を制御部１１１に通知する。制御部１１１はユーザによる操作指示の内容を実現するように各部を制御する。

（１−２ 追いかけ現像処理の概要）
撮影による符号化ＲＡＷ画像の記録および追いかけ現像処理を行う場合の記録部１０７のデータの推移について、図３を参照して説明する。本実施形態における「追いかけ現像」とは、符号化ＲＡＷ画像データの記録後のアイドル期間や、記録後にその他の処理のバックグラウンドで実行される現像処理である。

図３（ａ）には、符号化ＲＡＷ画像を記録部１０７から読み出して現像処理を行う時間が十分与えられている場合について、記録部１０７内の記録媒体における各データの推移を例示している。これに対して、図３（ｂ）には、当該符号化ＲＡＷ画像を読み出して現像処理を行う時間が十分与えられていない場合の記録部１０７内の記録媒体における各データの推移を例示している。ここで、符号化ＲＡＷ画像データ量３０１は、記録部１０７によって記録した符号化ＲＡＷ画像のデータ量を示す。また、追いかけ現像データ量３０２は、記録部１０７から読み出した符号化ＲＡＷ画像のデータ量の累計を示している。左縦軸にはデータ量、右縦軸には後述する現像進捗率をとり、横軸は時間軸を示している。

現像進捗率とは、
追いかけ現像データ量 ／ 符号化ＲＡＷ画像データ量 × １００
によって求まる比率であり、１００％を示す場合は記録された全ての符号化ＲＡＷ画像が読み出されて復号および現像され、動画像符号化もしくは静止画像符号化されたことを意味し、追いかけ現像が遅れずに進んでいることを意味する。逆に０％を示す場合は、記録された全ての符号化ＲＡＷ画像が記録部１０７に残っており、追いかけ現像が遅れていることを意味する。

図３（ａ）に示すように、時刻Ｔ０において撮影が開始されると、記録された符号化ＲＡＷ画像のデータ量の累計を示す符号化ＲＡＷ画像データ量３０１が増加する。厳密には、符号化ＲＡＷ画像データ量３０１は静止画像の撮影時には離散的に増加するが、ここでは説明を簡単にするために線形に増加させている。

符号化ＲＡＷ画像データ量３０１が一定の値を取る期間Ｔ３１は、撮影が行われていない非撮影期間である。期間Ｔ３１では、追いかけ現像処理が実行されるため、追いかけ現像データ量３０２が増加する。図３では表現していないが、一時的に記録部１０７によって記録された符号化ＲＡＷ画像は、追いかけ現像処理後に記録部１０７から削除される。このため、記録部１０７に記録されている符号化ＲＡＷ画像のデータ量は、追いかけ現像データ量３０２が増加したデータ量と同じ分だけ減少する。例えば、撮影中に記録された符号化ＲＡＷ画像が、撮影が行われていないとき（期間Ｔ３１）に全て読み出されると、符号化ＲＡＷ画像データ量３０１と追いかけ現像データ量３０２が一致する。

非撮影期間Ｔ３２は、撮影時に記録した符号化ＲＡＷ画像データ量と追いかけ現像データ量とが一致している期間である。即ち、期間Ｔ３２における記録部１０７は、図２（ｂ）に示した状態、つまり記録された符号化ＲＡＷ画像の全ては復号処理および現像処理された状態となっている。現像処理された静止画像データもしくは動画像データは圧縮符号化されて記録部１０７によって記録されている。また圧縮符号化されたデータが記録部１０７によって記録された際に元の符号化ＲＡＷ画像は記録部１０７から消去される。該期間Ｔ３２のときの現像進捗率３０３は１００％となり、追いかけ現像の進捗が良いことを示している。

次に、追いかけ現像処理時間が十分でない場合の例を、図３（ｂ）を参照して説明する。追いかけ現像処理時間が十分でない場合、現像進捗率３０７が１００％になることがなく、符号化ＲＡＷ画像データ量３０５と追いかけ現像データ量の差が拡大した状態となる。即ち、記録部１０７は、図２（ｄ）に示した状態、つまり記録部１０７に占める符号化ＲＡＷ画像の占める割合が増加した状態となる。この状態が継続すると、符号化ＲＡＷ画像が記録部１０７の容量を占め、デジタルカメラ１００による撮影を継続できなくなる場合がある。

本実施形態では、追いかけ現像処理時間が十分でない場合であっても、符号化したデータの記録状況に応じて適用する符号化方式を切り替えることで記録部１０７に占める符号化ＲＡＷ画像のデータ量を低減させる。具体的には、記録した符号化ＲＡＷ画像のデータ量と追いかけ現像を行ったデータ量との差が予め定められたデータ量を超えた場合には、符号化方式を可逆符号化方式（第１の符号化方式）から非可逆符号化方式（第二の符号化方式）に切り替える。本実施形態における非可逆符号化方式を適用する場合、第一量子化部１０３および第二量子化部１０５による処理によってデータ量が減少するため、可逆符号化を適用する場合と比較して生成された符号化ＲＡＷ画像のデータ量を低減できる。つまり、記録部１０７に記録した符号化ＲＡＷ画像のデータ量が追いかけ現像を行ったデータ量に対して乖離が生じた場合には、制御部１１１は、通常時より圧縮率の高い非可逆符号化方式を選択することで、符号化ＲＡＷ画像のデータ量の増加を抑制する。従って、符号化したデータの記録状況に応じて記録部１０７の容量不足の発生を軽減することができる。

可逆符号化方式と非可逆符号化方式を切り替えた場合の記録部１０７におけるデータ量について、図４を参照して説明する。

まず、可逆符号化方式のままで符号化した場合の記録部１０７内のデータ量の推移を図４（ａ）に示している。時刻Ｔ１までの非撮影期間は、撮影が行われていない時間を示す。時刻Ｔ１から時刻Ｔ２までは撮影期間であり、可逆符号化で符号化された符号化ＲＡＷ画像が記録部１０７に記録されている。時刻Ｔ２から時刻Ｔ４は非撮影期間であるため、時刻Ｔ２に記録部１０７に記録されている符号化ＲＡＷ画像に対して追いかけ現像処理を開始すると、時刻Ｔ３に追いかけ現像処理が終了する。記録部１０７の符号化ＲＡＷ画像は全て復号および符号化されて、ＪＰＥＧやＨ．２６４などの符号化データが記録されている状態となる。

時刻Ｔ４から撮影が始まり時刻Ｔ５で一旦撮影が停止するが、時刻Ｔ６から撮影が再開されて時刻Ｔ７まで撮影が行われている。時刻Ｔ５から時刻Ｔ６までの非撮影期間には、制御部１１１は時刻Ｔ４から時刻Ｔ５まで撮影された符号化ＲＡＷ画像に対して追いかけ現像処理を実行するが、時間が十分でないため時刻Ｔ６から再開した撮影により符号化ＲＡＷ画像のデータ量が増加している。時刻Ｔ７から時刻Ｔ８までの非撮影期間には、制御部１１１は引き続き時刻Ｔ４から時刻Ｔ５まで撮影された符号化ＲＡＷ画像に対して追いかけ現像処理を実行する。時刻Ｔ９まで継続して追いかけ現像処理を実行し、時刻Ｔ９には時刻Ｔ６から時刻Ｔ７まで撮影された符号化ＲＡＷ画像に対する追いかけ現像処理が実施された状態となる。時刻Ｔ７をみると、符号化ＲＡＷ画像のデータ量が増えて記録容量の限界に近づいている。さらに撮影が行われた場合、記録部１０７の容量不足が発生して、符号化ＲＡＷ画像の記録が行えない可能性が生じる。

一方、非可逆符号化方式を適用した場合の記録部１０７内のデータ量の推移は、図４（ｂ）に示すようになる。時刻Ｔ６までの推移は図４（ａ）と同様である。このとき、時刻Ｔ５までの撮影により符号化ＲＡＷ画像が蓄積し、追いかけ現像処理を行ったデータ量との差が生じている。このため、制御部１１１は、時刻Ｔ６から再び撮影が開始されたときには、非可逆符号化方式を適用する。このことでＴ６からＴ７の撮影期間に記録される符号化ＲＡＷ画像のデータ量が低下し、図４の（ａ）に比べて記録部１０７の容量不足の発生を軽減できる。

（１−３ 追いかけ現像処理の一連の動作）
次に、図５を参照して、追いかけ現像処理に係る一連の動作を説明する。なお、本実施形態における追いかけ現像処理は、デジタルカメラ１００の電源がＯＦＦにされている状態で、例えばデジタルカメラ１００の操作部１１２に含まれる電源ボタンが押下され、デジタルカメラ１００が起動した時点から開始される。また本処理は、制御部１１１がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開し、実行することにより実現される。なお、本実施形態では、より高速な符号化処理を行うために符号化方式として可逆符号化方式が初期値として設定されているものとする。

Ｓ５０１において制御部１１１は、操作部１１２からの通知に基づいてデジタルカメラ１００の電源がＯＦＦにされたかを判定する。電源がＯＦＦにされていないと判定した場合は、Ｓ５０２に処理を進める。一方、電源がＯＦＦになったと判定した場合については、本動作の説明の最後に説明する。

Ｓ５０２において制御部１１１は、操作部１１２からの通知に基づいてユーザによる撮影指示が出されたかを判定する。撮影指示が出された場合は、制御部１１１は撮影を開始させるとともにＲＡＷ符号化処理を行うためにＳ５１０に処理を進め、撮影指示が出されなかった場合は、Ｓ５０３に処理を進める。

Ｓ５０３において制御部１１１は、記録部１０７から得られる容量の情報に基づいて、記録部１０７内の記録媒体に符号化ＲＡＷ画像があるかを判定する。記録部１０７内の記録媒体に符号化ＲＡＷ画像が無い場合は、復号処理の対象が無いため、再びＳ５０１に処理を戻す。一方、記録部１０７内の記録媒体に符号化ＲＡＷ画像がある場合は、符号化ＲＡＷ画像の復号や現像処理を行うためＳ５０４に処理を進める。

Ｓ５０４において記録部１０７は、制御部１１１の制御に基づいて、記録媒体から符号化ＲＡＷ画像を読み出して計測部１０６に出力する。読み出された符号化ＲＡＷ画像は計測部１０６を介して復号処理部１０８に入力される。

Ｓ５０５において復号処理部１０８は、制御部１１１の制御に基づいて、読み出した符号化ＲＡＷ画像に対して復号処理を行なう。復号処理は、制御部１１１により指定された可逆符号化方式または非可逆符号化方式に対応する復号処理を行う。復号処理部１０８は復号処理を完了するとＳ５０６に処理を進める。

Ｓ５０６において現像部１０９は、制御部１１１の制御に基づいて、復号されたＲＡＷ画像の現像処理を行う。上述のように、現像部１０９は、復号処理部１０８から入力した復号ＲＡＷ画像に対して、デモザイク処理を施して輝度と色差から成る信号に変換し、ノイズ除去、歪曲収差補正、倍率色収差補正等の処理を行う。

Ｓ５０７において符号化部１１０は、制御部１１１の制御に基づいて、現像ＲＡＷ画像に対して符号化処理を行う。符号化部１１０は、制御部１１１から指示された符号化方式に応じて、例えば現像ＲＡＷ画像が静止画像の場合はＪＰＥＧ符号化などの静止画像符号化処理を行い、動画像の場合はＨ．２６４などの動画像符号化処理を行う。

Ｓ５０８において記録部１０７は、制御部１１１の制御に基づいて、符号化された符号化データを記録媒体に記録する。符号化部１１０により符号化された符号化データは計測部１０６を介して記録部１０７に入力されるため、計測部１０６は、記録部１０７に記録される符号化データのデータ量を計測して計測値を記憶する。計測値は、計測部１０６の計測が完了した際に計測部１０６から制御部１１１に通知されるほか、制御部１１１の要求に応じて計測部１０６から通知される。

Ｓ５０９において記録部１０７は、制御部１１１の制御に基づいて、追いかけ現像処理の対象となった符号化ＲＡＷ画像、すなわち記録部１０７から読み出された符号化ＲＡＷ画像を記録媒体から削除する。

続いて、Ｓ５１０〜Ｓ５１４に示すＲＡＷ符号化処理、即ちＲＡＷ符号化方式を切り替えてＲＡＷ符号化処理を行い、符号化ＲＡＷ画像を記録部１０７に記録する処理について説明する。

Ｓ５１０において制御部１１１は、計測部１０６から取得した計測値に基づいて、記録部１０７によって記録された符号化ＲＡＷ画像の総データ量と記録部１０７から読み出した符号化ＲＡＷ画像の総データ量を比較する。そして、記録した符号化ＲＡＷ画像の総データ量と記録部１０７から読み出した符号化ＲＡＷ画像の総データ量の差分が、実験等により予め定められた閾値Ｔｈよりも大きいかを判定する。制御部１１１は、算出した差分が閾値Ｔｈよりも大きい場合は、追いかけ現像処理が十分に行われていないと判定し、非可逆符号化方式を適用するためにＳ５１１に処理を進める。一方、算出された差分が閾値Ｔｈ以下である場合は、追いかけ現像処理が十分に行われていると判定し、可逆符号化方式を適用するためにＳ５１２に処理を進める。

Ｓ５１１において制御部１１１は、符号化方式として可逆符号化方式が設定されている場合は非可逆符号化方式にモードを切り替える。また、制御部１１１は、非可逆符号化方式を適用するため、第一量子化部１０３および第二量子化部１０５のそれぞれに対して符号化処理を適用するよう制御する。このように追いかけ現像処理が十分に行われていない場合には、データ量を縮小できる符号化方式を設定し、記録部１０７に記録される符号化ＲＡＷ画像のデータ量を小さくする。

Ｓ５１２において制御部１１１は、符号化方式として非可逆符号化方式が設定されている場合は可逆符号化方式にモードを切り替える。また、制御部１１１は、可逆符号化方式を適用するため、第一量子化部１０３および第二量子化部１０５のそれぞれに対して圧縮処理を適用しないよう制御する。追いかけ現像処理が十分に行われている場合には、記録部１０７に記録される符号化ＲＡＷ画像のデータ量はやや大きくなるが、より演算量の少なく高速な符号化方式を設定する。

Ｓ５１３において制御部１１１は、図１に示したウェーブレット変換部１０２から第二量子化部１０５までの各部を制御してＲＡＷ画像の符号化処理を行い、符号化ＲＡＷ画像を生成する。

Ｓ５１４において制御部１１１は、符号化ＲＡＷ画像を記録部１０７に記録し、記録が完了すると処理を再びＳ５０１に戻す。

Ｓ５０１において制御部１１１は、電源がＯＦＦになったと判定した場合は、デジタルカメラ１００の電源をＯＦＦにして追いかけ現像処理の一連の動作を終了する。

本実施形態では、追いかけ現像処理に十分な時間を確保できない場合には、選択可能な符号化方式のうち、より圧縮率の高い符号化方式を設定するようにした。追いかけ現像処理に十分な時間を確保できない場合の判定は、記録部１０７に記録した符号化ＲＡＷ画像の総データ量と追いかけ現像を行った総データ量の関係から判定する。具体的には、記録部１０７により記録した符号化ＲＡＷ画像の総データ量と読み出した符号化ＲＡＷ画像の総データ量の差分が所定の値を上回る場合、追いかけ現像処理に十分な時間を確保できない場合と判定し、より圧縮率の高い非可逆符号化方式を設定する。このようにすることで、記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能になる。

（実施形態２）
次に本発明に係る実施形態２について説明する。実施形態１では、記録部１０７によって記録された符号化ＲＡＷ画像の総データ量と読み出した符号化ＲＡＷ画像の総データ量の差分が閾値を上回る場合、可逆符号化方式より圧縮率の高い非可逆符号化方式を設定するようにした。これに対して実施形態２では、非撮影期間内の直前の撮影期間内に記録された符号化ＲＡＷ画像のデータ量全てが、非撮影期間内に読み出されたかに応じて、非可逆符号化方式を設定する。このため、図１に示したデジタルカメラ１００の構成は同一であり、本実施形態の追いかけ現像処理については、符号化方式の設定を行う構成以外は同一である。なお、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（２−１ ＲＡＷ符号化処理の一連の動作）
実施形態２における追いかけ現像処理の動作について説明する。なお、上述のように、追いかけ現像処理のうち符号化方式の設定を行う構成以外は同一である。このため、ＲＡＷ符号化処理の差異点についてのみ図６を参照して説明する。なお、ＲＡＷ符号化処理は、図５で示したＳ５０２において、デジタルカメラ１００に対する撮影指示があったものと判定された場合に実行される。

Ｓ６０１において制御部１１１は、撮影期間内に記録部１０７によって記録された符号化ＲＡＷ画像のデータ全てが、この撮影期間の直後の非撮影期間内に読み出され、追いかけ現像処理されたかを判定する。制御部１１１は、計測部１０６から取得した計測値に基づいて撮影期間内に記録された符号化ＲＡＷ画像のデータ量とこの撮影期間の直後の非撮影期間内に読み出された符号化ＲＡＷ画像のデータ量を比較する。非撮影期間内に全ての符号化ＲＡＷ画像を読み出せなかった場合は、追いかけ現像処理の時間が十分に無かったと判定して非可逆符号化方式を設定するＳ５１１に処理を進める。このようにすることで、撮影により生成される符号化ＲＡＷ画像の増加を抑制する。一方、非撮影期間内に全ての符号化ＲＡＷ画像を読み出せた場合は、追いかけ現像処理の時間が十分にあったと判定し、可逆符号化方式を設定するためにＳ５１２に処理を進める。

以降の処理（即ちＳ５１１〜Ｓ５１４）は、図５に示した処理と同一であるので、説明を省略する。

本実施形態では、撮影期間内に記録された符号化ＲＡＷ画像のデータ量全てが、その撮影期間の直後の非撮影期間内に追いかけ現像処理されたかに応じて、非可逆符号化方式、即ち圧縮率の高い符号化方式を設定するようにした。このようにすることで、実施形態１と同様に、記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能になる。さらに、撮影期間ごとに追いかけ現像処理の完了を確認することで、符号化ＲＡＷ画像のデータ量と追いかけ現像処理の乖離の発生に対して、反応速度の速い符号化方式の制御が可能となる。

（実施形態３）
次に本発明に係る実施形態３について説明する。実施形態１では、追いかけ現像処理に十分な時間を確保できない場合には、可逆符号化方式および非可逆符号化方式のうち、圧縮率の高い非可逆符号化方式を設定するようにした。これに対して実施形態３では、復号処理も含めた符号化および復号処理全体でよりデータ量削減効果の高い符号化方式を選択する。より具体的には、選択可能な２つの符号化方式において、算術符号化方式（第１の符号化方式）およびハフマン符号化方式（第２の符号化方式）を上記観点で選択的に設定する。このため、本実施形態の追いかけ現像処理は、ＲＡＷ符号化処理を行う構成以外は同一である。なお、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（３−１ デジタルカメラ７００の構成）
符号化方式の１つの分類としてエントロピー符号化が知られている。エントロピー符号化方式は複数存在し、その１つの方式として算術符号化方式がある。算術符号化方式のエントロピー符号化は、高圧縮であり、ＪＰＥＧ２０００やＨ．２６４といった圧縮規格でも採用されている。別のエントロピー符号化方式の１つとしてハフマン符号化方式のエントロピー符号化も知られている。ハフマン符号化方式は、ＭＰＥＧ２等の圧縮規格で採用されている。

算術符号化は、高圧縮である一方、符号化途中で生成される中間符号データの１ビット毎に発生確率を更新する処理が必要であることと、そのアルゴリズムの性質上並列化が困難であるため処理時間が膨大になる。復号処理も同様に処理時間が膨大になる。一方ハフマン符号化では、算術符号化に比べ、圧縮率は落ちるが、高速に符号化、復号処理が可能である。

次に、図７を参照して、本実施形態の撮像装置の一例としてデジタルカメラ７００の機能構成例を説明する。但し、図１の参照番号を使用しているブロックは、図１に示したブロックと共通であるので、説明は省略する。

スイッチ７０１は、ウェーブレット変換部１０２から出力された変換データを制御部１１１の制御に基づいてハフマン符号化部７０２もしくは算術符号化部７０３のいずれかに出力するスイッチである。

ハフマン符号化部７０２は、入力された変換データに対してハフマン符号化処理を行い、ハフマン符号化データを算術符号化部７０３に出力する。

算術符号化部７０３は、入力された変換データに対して算術符号化処理を行い、算術符号化データを符号量制御部７０４に出力する。

符号量制御部７０４は、目標とする符号量に抑え込む処理を行う。符号量制御部７０４は、入力されるハフマン符号化データもしくは算術符号化データの一部分を削除することで符号化データ量を削減する。例えば表示しても人間の目には認識が困難である情報を符号化データから部分的に削除する。ＲＡＷ符号化の設定が可逆符号化である場合は、符号量制御部７０４では符号化データを削除することはない。符号量制御部７０４で生成された符号化ＲＡＷ画像は計測部１０６を介して記録部１０７に記録される。

なお、上述の構成は、ハフマン符号化部７０２および算術符号化部７０３のように復号処理について特性の異なる符号化方式があればよく、その他の構成は説明した構成以外でも構わない。また、符号化方式については例示であり、符号化速度の異なる他の符号化方式であっても良いし、複数の符号化方式であれば２つの方式に限らない。

復号処理部７０５は、計測部から出力された符号化ＲＡＷ画像を復号し、復号済ＲＡＷ画像を生成する。生成した復号済ＲＡＷ画像を現像部１０９に出力する。復号処理部７０５は、不図示のハフマン復号部と算術復号部を有する。復号処理部７０５は、制御部１１１の制御に基づいて、符号化ＲＡＷ画像に対応したハフマン復号処理または算術復号処理を行う。

（３−２ 追いかけ現像処理の一連の動作）
図８（ａ）を用いて制御部１１１の追いかけ現像処理時の動作フローを説明する。但し、ＲＡＷ符号化処理以外の動作については実施形態１と同一であるため、ＲＡＷ符号化処理についてのみ説明する。なお、本処理は、デジタルカメラ７００における制御部１１１がユーザからの撮影指示を受けた場合に開始される。また本処理は、制御部１１１がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開し、実行することにより実現される。

Ｓ８０１において制御部１１１は、計測部１０６から取得した計測値に基づいて、記録部１０７によって記録された符号化ＲＡＷ画像の総データ量と読み出した符号化ＲＡＷ画像の総データ量を比較する。具体的には、記録した符号化ＲＡＷ画像の総データ量と読み出した符号化ＲＡＷ画像の総データ量の差分が、予め定められた閾値Ｔｈよりも大きいかを判定する。制御部１１１は、算出した差分が閾値Ｔｈよりも大きい場合は、追いかけ現像処理が十分に行われていないと判定してＳ８０２に処理を進め、算出した差分が閾値Ｔｈ以下の場合は、追いかけ現像処理が十分に行われたと判定してＳ８０３に処理を進める。

Ｓ８０２においてスイッチ７０１は、制御部１１１の制御に基づいて、スイッチをハフマン符号化部７０２側に切り替えて変換データをハフマン符号化部７０２に出力するように制御する（ハフマン符号化モードの実行）。

Ｓ８０３においてスイッチ７０１は、制御部１１１の制御に基づいて、スイッチ７０１を算術符号化部７０３側に切り替えて変換データを算術符号化部７０３に出力するように制御する（算術符号化モードの実行）。

Ｓ８０４においてハフマン符号化部７０２あるいは算術符号化部７０３は、スイッチ７０１を介して入力した変換データに対して各符号化処理を行って生成した符号化ＲＡＷ画像を出力する。

Ｓ８０５において記録部１０７は、計測部１０６を介して入力された符号化ＲＡＷ画像を記録媒体に記録する。制御部１１１は、記録部１０７による記録が完了すると処理を再びＳ５０１に戻してＲＡＷ符号化処理を終了する。

次に、図８（ｂ）を参照して符号化方式を切り替えた後の符号化ＲＡＷ画像のデータ量と追いかけ現像データ量の差分が閾値よりも小さくなることを説明する。図８（ｂ）は、符号化方式を切り替えた際の符号化ＲＡＷ画像データ量８１１、追いかけ現像データ量８１２及び前述した現像進捗率８１３を示している。

図８（ｂ）の下部には２つの期間を示している。２つの期間のうち上側に示す期間（符号化処理における符号化方式）は、各期間において使用されている符号化方式を示している。下側に示す期間（追いかけ現像処理における復号方式）は、各期間における追いかけ現像処理の復号処理部において動作している復号方式を示している。

例えば時刻Ｔ１からＴ２の期間において、符号化方式は算術符号化方式が選択されていることを示している。非撮影期間である時刻Ｔ２からＴ３の期間においては、復号処理部の復号方式は算術復号部が動作していることを示している。

以下同様に、撮影期間である時刻Ｔ３からＴ４の期間、時刻Ｔ５からＴ６の期間、時刻Ｔ７からＴ８の期間はいずれも符号化方式はハフマン符号化方式が選択されていることを示している。さらに、非撮影期間である時刻Ｔ４からＴ５の期間は、復号処理部の復号処理は算術復号部が動作している。非撮影期間である時刻Ｔ６からＴ７の期間、時刻Ｔ８からＴ９の期間は、復号処理部の復号処理はハフマン復号部が動作している。

時刻Ｔ１からＴ２の期間に符号化された符号化ＲＡＷ画像は、直後の非撮影期間であるＴ２からＴ３の期間に追いかけ現像処理される。図８（ｂ）では、符号化ＲＡＷ画像の生成順に追いかけ現像処理が行われていることを示す。

時刻Ｔ１において、符号化ＲＡＷ画像データ量８１１と追いかけ現像データ量８１２が一致しているので、記録部１０７には符号化ＲＡＷ画像がなく、全ての符号化ＲＡＷ画像が追いかけ現像処理されている状態である。そして、時刻Ｔ２まではＲＡＷ符号化における符号化処理は算術符号化が適用されている。

時刻Ｔ３において、符号化ＲＡＷ画像データ量８１１と追いかけ現像データ量８１２の差分が閾値Ｔｈを超えたため時刻Ｔ３以降のＲＡＷ符号部における符号化方式を算術符号化からハフマン符号化に切り替えていることを示している。

時刻Ｔ３において、符号化方式が算術符号化からハフマン符号化へ切り替わり、時刻Ｔ３からＴ４の間にハフマン符号化された符号化ＲＡＷ画像は、時刻Ｔ６からＴ７の期間に記録部１０７から読み出される。時刻Ｔ６からＴ７の期間の追いかけ現像データ量は、ハフマン符号化されているので、時刻Ｔ５以前の追いかけ現像データ量と比較し、単位時間当たりの追いかけ現像データ量８１２が増えている。その結果、時刻Ｔ６以降において現像進捗率８１３は上昇し、時刻Ｔ１０では符号化ＲＡＷ画像データ量８１１と追いかけ現像データ量８１２の差分８１４が閾値Ｔｈよりも小さくなっている。

算術符号化は、ハフマン符号化に比べて圧縮率が高く、生成される符号化ＲＡＷ画像データ量は少ない。一方、復号処理において単位時間内に復号できるデータ量は、ハフマン符号化された符号化ＲＡＷ画像の方がより多く復号可能である。

即ち、算術符号化処理と算術復号処理を適用したときに単位時間当たりに増加する符号化ＲＡＷ画像データ量よりも、ハフマン符号化処理とハフマン復号処理を適用したときに単位時間当たりに増加する追いかけ現像データ量の方が大きい。これは、算術復号処理が復号処理途中で生成される中間符号データの１ビット毎に発生確率を更新するアルゴリズムのため単位時間当たりに復号できるデータ量が決められていることと、アルゴリズムの性質上、復号処理を並列化ができないことに起因する。

本実施形態では、追いかけ現像処理に十分な時間を確保できる場合は、算術符号化を用いて符号化ＲＡＷ画像データ量をより少なくし、追いかけ現像処理に十分な時間を確保できない場合は、ハフマン符号化処理に切り替える。符号化処理と復号処理全体がより高速なハフマン符号化方式に切り替えることで、符号化ＲＡＷ画像に対する復号処理および現像処理を加速するようにした。このようにすることで、短い非撮影期間でも記録部１０７に記録された符号化ＲＡＷ画像を減少させることができる。つまり、記録部１０７内の記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能になる。また、最初の撮影（時刻Ｔ１からＴ２）に高圧縮率な符号化方式を用いることができるため、最初の撮影が長時間になる場合であっても記録媒体の容量不足の発生を軽減することができる。

なお、Ｓ８０１における、追いかけ現像処理が十分に行われたか否か、即ち記録された符号化ＲＡＷ画像を十分に読み出したかの判定には、他の種々の判定方法を用いることが可能である。第１の変形例として、非撮影期間（例えば時刻Ｔ２からＴ３）の時間長を計測し、計測した非撮影期間の時間長が予め定められた閾値より短い場合は、追いかけ現像処理が十分に行われていないと判定するようにしてもよい。また、第２の変形例として、上述した現像進捗率（即ち、符号化ＲＡＷ画像データ量と追いかけ現像データ量の割合）を計測し、計測した現像進捗率が予め定められた閾値より低い場合は、追いかけ現像処理が十分に行われていないと判定する。これらの判定方法により追いかけ現像処理が十分に行われていないと判定した場合、符号化方式をハフマン符号化に切り替えればよい。

加えて、上述のＳ８０１における判定方法の変形例は、実施形態１において説明したＳ５１０における判定方法にも適用することができる。即ち、非撮影期間（例えば時刻Ｔ２からＴ３）の時間長や現像進捗率を計測した結果、追いかけ現像処理が十分に行われていないと判定した場合、非可逆符号化を適用するようにすればよい。

（実施形態４）
次に、実施形態４について説明する。実施形態３では、記録部１０７によって記録された符号化ＲＡＷ画像の総データ量と読み出した符号化ＲＡＷ画像の総データ量の差分に基づいて、符号化方式の切り替えを行った。これに対して実施形態４では、撮影期間内に記録された符号化ＲＡＷ画像データ全てが、その撮影期間の直後の非撮影期間内に読み出されたかに応じて符号化方式の切り替えを行う。このため、本実施形態の追いかけ現像処理は、ＲＡＷ符号化処理における判定方法以外の構成は同一である。なお、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（４−１ ＲＡＷ符号化処理の一連の動作）
実施形態４におけるＲＡＷ符号化処理の一連の動作について、図９（ａ）を参照して説明する。

Ｓ９０１において制御部１１１は、計測部１０６から取得した計測値に基づいて、撮影期間内に記録部１０７によって記録された符号化ＲＡＷ画像データ全てが、この撮影期間の直後の非撮影期間内に読み出され、追いかけ現像処理されたかを判定する。制御部１１１は、非撮影期間内に全ての符号化ＲＡＷ画像を読み出していない場合は、追いかけ現像処理の時間が十分に無かったと判定してハフマン符号化を適用するためにＳ８０２に処理を進める。一方、非撮影期間内に全ての符号化ＲＡＷ画像を読み出せた場合は、追いかけ現像処理の時間が十分にあったと判定し、算術符号化を適用するためＳ８０３に処理を進める。なお、Ｓ８０２以降の処理については、上述の説明と重複するため省略する。

図９（ｂ）は、符号化ＲＡＷ画像データ量９１１、追いかけ現像データ量９１２及び現像進捗率９１３を示している。

時刻Ｔ１からＴ２の期間内に生成された符号化ＲＡＷ画像データ量は、図９（ｂ）の符号化ＲＡＷ画像データ量９１５であり、時刻Ｔ２からＴ３の期間で追いかけ現像処理された追いかけ現像データ量は、追いかけ現像データ量９１６である。時刻Ｔ３において、符号化ＲＡＷ画像データ量９１５は、追いかけ現像データ量９１６よりも多い。このため、時刻Ｔ１からＴ２の撮影期間内に記録部１０７に記録された符号化ＲＡＷ画像データ全てが、撮影期間の直後の時刻Ｔ２からＴ３の非撮影期間内に読み出されていないことを示している。このため、制御部１１１は、時刻Ｔ３以降の符号化方式を算術符号化方式からハフマン符号化方式に切り替えている。

時刻Ｔ３において、符号化方式を算術符号化方式からハフマン符号化方式に切り替えたことにより、時刻Ｔ３からＴ４の期間にハフマン符号化された符号化ＲＡＷ画像が時刻Ｔ６からＴ７の期間に読み出される。即ち、撮影期間の直後の追いかけ現像処理が十分であったかを判定することで、追いかけ現像処理が不足した場合に即座に（時刻Ｔ３で）符号化方式を切り替えることができる。これにより、切り替え前の符号化方式に対する復号処理の長期化を抑制し（即ち時刻Ｔ４からＴ５に留まる）、早期に（即ち時刻Ｔ６から）復号処理が開始できるようになる。

そして、時刻Ｔ６からＴ７の期間の追いかけ現像データ量は、ハフマン符号化されているために単位時間当たりの追いかけ現像データ量が増している。結果として、時刻Ｔ６以降において現像進捗率９１３は上昇し、時刻Ｔ１０では符号化ＲＡＷ画像データ量９１１と追いかけ現像データ量９１２の差分９１４が小さくなっている。

本実施形態では、符号化および復号処理全体がより高速な符号化方式を選択する場合において、撮影期間の直後に当該期間に記録された符号化ＲＡＷ画像の読み出しが全て行われたかを判定する。これにより、復号処理を早期に開始させ、記録媒体の容量不足の発生を軽減することができる。

（実施形態５）
次に実施形態５について説明する。実施形態５では、追いかけ現像処理を開始する際に、ハフマン符号化された符号化ＲＡＷ画像が記録部１０７内の記録媒体に存在すれば、ハフマン符号化された符号化ＲＡＷ画像に対して優先的に追いかけ現像処理を行う。このため、本実施形態に係るデジタルカメラ７００の構成は同一であり、追いかけ現像処理のうち、記録された符号化ＲＡＷ画像を復号処理する構成以外は同一である。なお、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（５−１ 追いかけ現像処理の一連の動作）
実施形態５における追いかけ現像処理の一連の動作について、図１０を参照して説明する。

Ｓ１００１において制御部１１１は、記録部１０７内の記録媒体に記録されている符号化ＲＡＷ画像のうち、ハフマン符号化方式で符号化された符号化ＲＡＷ画像があるかを判定する。制御部１１１は、記録されている符号化ＲＡＷ画像のそれぞれの符号化方式を示す情報を記録部１０７から取得して、ハフマン符号化方式で符号化された符号化ＲＡＷ画像の有無を判定する。なお、符号化方式を示す情報は、符号化ＲＡＷ画像を記録する際にヘッダ等に記録され、記録部１０７は、それぞれの符号化方式を示す情報を制御部１１１に出力する。制御部１１１は、ハフマン符号化方式で符号化された符号化ＲＡＷ画像があるかと判定した場合は、Ｓ１００２に処理を進め、符号化ＲＡＷ画像がないと判定した場合はＳ１００４に処理を進める。

Ｓ１００２において制御部１１１は、ハフマン符号化方式で符号化された符号化ＲＡＷ画像を記録部１０７から読み出し、Ｓ１００３において制御部１１１は、読み出した符号化ＲＡＷ画像に対してハフマン復号処理を適用してＲＡＷ画像を復号する。なお、ハフマン符号化方式で符号化された符号化ＲＡＷ画像が複数ある場合、制御部１１１は、さらにＳ１００２およびＳ１００３における処理を繰り返し、ハフマン符号化方式で記録された符号化ＲＡＷ画像に対して優先的に復号処理を行う。

Ｓ１００４において制御部１１１は、算術符号化方式で符号化された符号化ＲＡＷ画像を記録部１０７から読み出し、Ｓ１００５において制御部１１１は、読み出した符号化ＲＡＷ画像に対して算術復号処理を適用してＲＡＷ画像を復号する。

以降の処理は、上述した現像処理（Ｓ５０６）以降の処理と同一であるため省略する
続いて図１１を参照してハフマン符号化方式で符号化された符号化ＲＡＷ画像を優先的に追いかけ現像した場合について、現像進捗率が向上していることを説明する。

図１１は、ハフマン符号化方式で符号化された符号化ＲＡＷ画像を優先的に追いかけ現像した場合の、符号化ＲＡＷ画像データ量１１０１、追いかけ現像データ量１１０２及び現像進捗率１１０３の推移を示している。

時刻Ｔ１からＴ２の期間においては、符号化方式は算術符号化方式が適用されている。時刻Ｔ２まで撮影された符号化ＲＡＷ画像は算術符号化方式で符号化されている。また、時刻Ｔ３において、上述したＳ９０１の条件判定を行い、時刻Ｔ１とＴ２間の符号化ＲＡＷ画像データ量を全て読み出せていないため、時刻Ｔ３からのＲＡＷ符号部における符号化方式をハフマン符号化方式に切り替えている。なお、図１１に示すように、時刻Ｔ２からＴ３の期間で追いかけ現像処理された追いかけ現像データ量（１１０５）が、時刻Ｔ１からＴ２の期間内に生成された符号化ＲＡＷ画像データ量（１１０４）を下回っている。

一方、追いかけ現像処理では、時刻Ｔ２からＴ３の期間は、記録部１０７内の記録媒体に算術符号化で符号化された符号化ＲＡＷ画像しか存在しないため、算術復号処理が行われる。

時刻Ｔ４からＴ５までの非撮影期間の開始時には、時刻Ｔ１からＴ２の期間に算術符号化で符号化された符号化ＲＡＷ画像と、時刻Ｔ３からＴ４の期間にハフマン符号化された符号化ＲＡＷ画像が記録部１０７内の記録媒体に存在する。このため、上述のＳ１００１により、復号処理速度が速いハフマン符号化された符号化ＲＡＷ画像を記録部１０７から読み出してハフマン復号処理を行う。時刻Ｔ４からＴ５までの期間はハフマン復号処理を行うため、算術復号処理を行った場合と比べて単位時間当たりに復号できるデータ量が多くなる。このため、算術復号処理が行われている時刻Ｔ２からＴ３の追いかけ現像データ量の傾きよりも、ハフマン復号処理が行われている時刻Ｔ４からＴ５の追いかけ現像データ量の傾きの方が大きくなり、時刻Ｔ７付近から現像進捗率１１０３が上昇する。

本実施形態では、記録部１０７にハフマン符号化方式で符号化された符号化ＲＡＷ画像がある場合は、優先的に読み出して追いかけ現像処理を行うようにした。このようにすることで、図８（ｂ）や図９（ｂ）で例示したような、記録された順に符号化ＲＡＷ画像を追いかけ現像処理する場合に比べて現像進捗率を向上させることができ、より早く記録媒体に占める符号化ＲＡＷ画像のデータ量を削減することができる。即ち、記録媒体の容量不足の発生を軽減することができる。

（実施形態６）
次に実施形態６について図１２を参照して説明する。図１２は、本実施形態の撮像装置の一例としてデジタルカメラ１２００の機能構成例を説明する図である。但し、図１２において、図１の参照番号を使用しているブロックは、図１に示したブロックと共通であるので、詳細な説明は省略する。

図１２に示したデジタルカメラ１２００は、図１と対比して、第二の量子化部を有していない点が異なり、それ以外の構成は共通である。実施形態１と同様、撮像部１０１が撮像画像データとしてＲＡＷ画像データを生成し、ウェーブレット変換部１０２がそのウェーブレット変換を行う。第一量子化部１０３は、ウェーブレット変換部１０２から出力された変換データに対して、量子化処理を行う。第一量子化部１０３は、制御部１１１からの制御信号に基づいて量子化処理を行う。即ち、第一量子化部１０３は、可逆符号化方式を適用する場合は量子化処理を行わず、非可逆符号化方式を適用する場合は量子化処理を行い、変換データのデータ量を削減する。また量子化処理を行う場合の量子化値、即ち変換データを除算する値は、制御部１１１から入力される。そして、第一量子化部１０３は、量子化された変換データを出力する。

エントロピー符号化部１０４は、第一量子化部１０３から出力された変換データに対して可変長符号化を行ってデータ圧縮を行い、圧縮されたデータを出力する。エントロピー符号化方式としては、例えばゴロムライス符号化とランレングス符号化を行う。

本実施形態では、可逆符号化方式を適用する場合は、ウェーブレット変換部１０２がウェーブレット変換を実施せず、かつ第一量子化部１０３も量子化処理を実施しない。すなわち、撮像部１０１から実質直接的にＲＡＷ画像データがエントロピー符号化部１０４に供給され、エントロピー符号化部１０４によってゴロムライス符号化およびランレングス符号化処理が行われる。

一方、非可逆符号化方式を適用する場合は、ウェーブレット変換部１０２がウェーブレット変換を行い、第一量子化部１０３が量子化処理を行う。このとき、ウェーブレット変換された変換データのうち最も低域な変換データについては、量子化処理を行わず、そのままエントロピー符号化部１０４に入力される。その際エントロピー符号化部１０４では、入力された変換データが、撮像部１０１の縮小画相当であることから、画像の周辺係数を参照してゴロムライス符号化における予測係数を生成し、予測差分係数をゴロムライス符号化する。周辺係数の参照および予測係数の方法は既知の技術を適用する。

最も低域な変換データ以外の変換データについては、ウェーブレット変換によって抽出された周波数成分であることから周辺係数を参照せずに、変換データに対してゴロムライス符号化およびランレングス符号化を行う。

そして、本実施形態ではエントロピー符号化後に量子化（第２の量子化／データ削減処理）を行うことなく、エントロピー符号化後のデータが計測部１０６に供給される。計測部１０６は、記録部１０７によって書き込まれるデータ量と記録部１０７によって読み出されるデータ量を計測する。以降の説明は図１を用いて行った説明と同様であるので省略する。

このように本実施形態ではエントロピー符号化後の量子化（第二の量子化部）を不要とし、上述のように符号化したデータを計測部１０６以降の処理へ入力する構成を提示する。このような構成にすることで、実施形態１と同様、記録媒体の空き容量に応じて適切な符号化方式を選択して符号化したデータを記録でき、記録媒体の容量不足の発生を軽減することが可能である。そして、より簡易な構成を実現して処理負荷を軽減することで、撮像から記録に係る全体のスループットを向上させることが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…撮像部、１０２…ウェーブレット変換部、１０３…第一量子化部、１０４…エントロピー符号化部、１０５…第二量子化部、１０６…計測部、１０７…記録部、１０８…復号処理部、１０９…現像部、１１０…符号化部

Claims (13)

1. 撮像素子による撮像信号から現像前画像を表すＲＡＷ画像データを得る撮像手段と、
   前記撮像手段により得られた前記ＲＡＷ画像データを所定の符号化方式で符号化して記録媒体に記録する記録手段と、
   前記記録媒体に記録された前記符号化されたＲＡＷ画像データを読み出して現像する現像手段と、
   前記撮像手段による撮影期間に記録された前記符号化されたＲＡＷ画像データの量と、前記撮影期間でないときに前記現像手段により現像を行うために前記記録媒体から読み出された前記符号化されたＲＡＷ画像データの量とを比較し、比較の結果に応じて前記ＲＡＷ画像データを符号化するための符号化方式を制御する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、
   前記比較の結果が所定の関係にある場合、第１の符号化方式を設定し、
   前記比較の結果が所定の関係にない場合、前記記録手段に記録されている前記符号化されたＲＡＷ画像データの量を削減するように第２の符号化方式を設定する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、
   前記比較の結果が前記所定の関係にない場合、前記撮影期間に記録された前記符号化されたＲＡＷ画像データの量を、圧縮率の違いにより前記第１の符号化方式を用いるときよりも少なくする第２の符号化方式を設定することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の符号化方式は可逆符号化であり、前記第２の符号化方式は非可逆符号化であることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、
   前記比較の結果が前記所定の関係にない場合、前記撮影期間でないときに前記現像手段により現像を行うときに前記記録媒体から読み出す前記符号化されたＲＡＷ画像データの量が増加するように前記第２の符号化方式を設定することを特徴とする請求項２に記載の撮像装置。
6. 前記第１の符号化方式は算術符号化であり、前記第２の符号化方式はハフマン符号化であることを特徴とする請求項５に記載の撮像装置。
7. 前記所定の関係は、前記撮影期間に記録された前記符号化されたＲＡＷ画像データの量と、前記撮影期間でないときに前記現像手段により現像を行うために前記記録媒体から読み出された前記符号化されたＲＡＷ画像データの量との差分が予め定めたデータ量より小さい関係であることを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記所定の関係は、前記撮影期間に記録された前記符号化されたＲＡＷ画像データの量に対する、前記撮影期間でないときに前記現像手段により現像を行うために前記記録媒体から読み出された前記符号化されたＲＡＷ画像データの量の比率が、予め定めた比率より大きい関係であることを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
9. 前記所定の関係は、前記撮影期間でないときに前記現像手段により現像を行うために前記記録媒体から前記符号化されたＲＡＷ画像データを読み出した時間長が予め定められた時間長より長い関係であることを特徴とする請求項２乃至８のいずれか１項に記載の撮像装置。
10. 前記所定の関係は、撮影ごとに得られる前記撮影期間に記録された前記符号化されたＲＡＷ画像データの量のうち、直前の撮影期間に記録された前記符号化されたＲＡＷ画像データが、前記撮影期間でないときに前記現像手段により現像を行うために前記記録媒体から全て読み出されている関係であることを特徴とする請求項２乃至９のいずれか１項に記載の撮像装置。
11. 前記現像手段により現像を行うために前記記録媒体から読み出された前記符号化されたＲＡＷ画像データを復号する復号手段をさらに有し、
    前記現像手段は、前記復号されたＲＡＷ画像データを現像する、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 撮像手段が、撮像素子による撮像信号から現像前画像を表すＲＡＷ画像データを得る撮像工程と、
    記録手段が、前記撮像工程において得られた前記ＲＡＷ画像データを所定の符号化方式で符号化して記録媒体に記録する記録工程と、
    現像手段が、前記記録媒体に記録された前記符号化されたＲＡＷ画像データを読み出して現像する現像工程と、
    制御手段が、前記撮像工程における撮影期間に記録された前記符号化されたＲＡＷ画像データの量と、前記撮影期間でないときに前記現像工程において現像を行うために前記記録媒体から読み出された前記符号化されたＲＡＷ画像データの量とを比較し、比較の結果に応じて前記ＲＡＷ画像データを符号化するための符号化方式を制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images