JP6871727B2

JP6871727B2 - 撮像装置、画像処理方法、及び、プログラム

Info

Publication number: JP6871727B2
Application number: JP2016231850A
Authority: JP
Inventors: 浩二磨田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-29
Filing date: 2016-11-29
Publication date: 2021-05-12
Anticipated expiration: 2036-11-29
Also published as: JP2018088652A; US20180152700A1; US10484679B2

Description

本発明は、撮像装置、画像処理方法、及び、プログラムに関する。

撮像装置は、撮像センサによって撮像された生の画像（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行うことができる。このとき現像処理された輝度信号及び色差信号は、圧縮符号化されて、記録媒体に記録されるのが一般的である。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるため、上級者により好んで使われている。

このようなＲＡＷ画像の記録は、静止画のみならず、動画にも適用されるようになってきている。ＲＡＷ画像の動画記録を行なう場合、所定の記録媒体に一定時間の動画像が記録できるよう、データ量を所望の符号量へ圧縮する制御が必要となる。しかし、符号量制御および量子化制御が適切に行われず、所定の記録媒体へのデータ転送速度を超えるデータ量が発生した場合には、記録媒体上のデータの破損が生ずる。また、静止画記録の場合はリアルタイム再生を保証する概念は無いが、動画記録の場合は、記録媒体に書き込むことができた場合でもリアルタイム再生を保証するビットレートを超えてしまうと、再生装置で正しく再生できなくなってしまう。これらの問題が起きないよう、撮像装置において符号量制御、および量子化制御を適切に行う必要がある。

特許文献１は、量子化制御を適切に実行するために、複数の量子化パラメータを設定し、第一の符号化で画像の特徴を抽出し、第一の符号化結果に応じて、最適な量子化パラメータを選択し第二の符号化を実施する構成を開示する。

特開２０１１−２９９５６号公報

画像の画素数の増加に伴う膨大なデータサイズによりバッファのバス帯域を逼迫するのを解消するため、撮像センサで撮像されたＲＡＷ画像をバッファに一旦書き込むことなく、ＲＡＷ画像生成後に直ちに圧縮符号化することでバスの使用率を下げる構成がある。この構成では、符号化完了から次ピクチャの符号化開始までの時間が撮像センサの撮像処理の空き時間（ブランキング期間）程度という、非常に短い時間になる。よって、符号化完了から次の符号化開始までの間に次のＲＡＷ画像のための符号量制御を行う時間を確保することが困難となる。

この場合、符号量制御では符号化処理中に次のＲＡＷ画像の設定パラメータを算出しなければならず、符号化対象のＲＡＷ画像の直前のＲＡＷ画像の符号化結果を符号量制御にフィードバックすることができない。また、符号化結果のフィードバックが１画像分だけ遅延することになり、シーンが変化した場合などには提供される設定パラメータが符号化対象のＲＡＷ画像の内容に既に対応しなくなっており、符号量制御の制御性が悪化してしまうことになる。

上記特許文献１に記載された技術は、ピクチャ間でシーンが変化した場合でも量子化制御が可能であるが、符号化を２回実施するため、リアルタイム性が求められる撮像装置には不向きである。

そこで本発明は、画像を直ちに圧縮符号化する場合であっても、符号量制御を実行して符号量制御の制御性を向上するための技術を提供する。

上記課題を解決するための本発明は、撮像装置であって、
被写体を撮像して画像を生成する撮像手段と、
前記撮像手段により撮像された画像を符号化して符号化データを生成する符号化手段と、
前記符号化手段による画像の符号化のためのパラメータを算出し、前記符号化手段に提供する符号化制御手段と
を備え、
前記符号化制御手段は、
前記符号化手段が符号化対象の第１の画像の符号化データを生成している間に、次に符号化される第２の画像の符号化のための第一のパラメータを、前記第１の画像の直前に符号化された第３の画像の符号化結果に基づいて算出し、
前記符号化手段による前記第１の画像の符号化の完了後から前記符号化手段による前記第２の画像の符号化の開始までの間に、前記第１の画像と前記第３の画像の相関に基づいて、前記第３の画像の符号化結果に基づいて算出した前記第一のパラメータまたは撮像装置に予め保持されている第二のパラメータとのいずれかを、前記第２の画像の符号化のためのパラメータとして前記符号化手段に提供する、ことを特徴とする。

本発明によれば、画像を直ちに圧縮符号化する場合であっても、符号量制御を実行して符号量制御の制御性を向上する技術を提供することができる。

発明の実施形態に対応する撮像装置の構成例を示すブロック図。発明の実施形態に対応する画素配列を示す図。発明の実施形態に対応するＲＡＷ圧縮部１１３及び符号化制御部１７１の構成例を示すブロック図。発明の実施形態に対応する符号化対象画像の一例を示す図、及び、画面内の目標符号量と発生符号量の関係を示す図。発明の実施形態に対応する各サブバンドの概念図と、第一の設定パラメータ及び第二の設定パラメータの一例を説明するための図。第一の設定パラメータを常に選択する場合のＲＡＷ圧縮部１１３と符号化制御部１７１の処理の流れを示す図。発明の実施形態に対応する設定パラメータ選択処理の一例を示すフローチャート。発明の実施形態に対応するＲＡＷ圧縮部１１３と符号化制御部１７１における処理の流れの一例を示す図。発明の実施形態２に対応する符号化制御部１７１の構成例を示すブロック図と、実施形態２に対応する画面内の目標符号量、発生符号量及び相関判定に用いる閾値の関係を一例として示す図。

［実施形態１］
以下、図面を参照しながら、発明の実施形態を説明する。図１は、発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像を記録媒体に記録するだけでなく、画像を記録媒体から再生し、現像処理して表示する機能や、画像を外部の装置やサーバ（クラウド）等と送受信する機能を有することができる。従って、発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

撮像装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。図１の撮像装置１００において、撮像素子、表示素子、記録媒体、入力デバイスや端子のような物理的デバイスを除き、各ブロックは画像処理装置として専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、当該装置がソフトウェア的に構成されてもよい。これらの場合、撮像装置は撮像素子で取得された画像信号に所定の画像処理を施した後、表示素子に表示したり、記録媒体に記録したりするための装置として機能し得る。また、記録媒体に記録された画像を読み出して、表示素子に表示させることもできる。なお、図１は、デジタルカメラ等として機能する場合を考慮して撮像センサ部１０２を含む構成を示した。しかし、発明の実施形態として、ＲＡＷ画像を処理する画像処理装置として、撮像センサ部１０２を有しない構成で実現してもよい。

＜撮像装置１００の構成＞
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２は、例えば、シャッターボタンを含むことができる。制御部１６１は、操作部１６２からの操作信号を検出し、検出した操作信号に応じた動作が実行されるよう撮像装置１００の各ブロックの動作を制御する。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示し、例えば液晶ディスプレイ（ＬＣＤ）等により構成される。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換して出力する。図２は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ配列と呼ばれる。

撮像センサ部１０２から出力された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像を、生（未現像）の画像を意味するＲＡＷ画像と称す。センサ信号処理部１０３の出力の後、不図示の符号化部によってＲＡＷ画像が画素の情報量を圧縮符号化（以下、単に「符号化」ともいう）された状態で後段の現像部１１０に供給されても良い。この場合、圧縮符号化されたＲＡＷ画像を後段の現像部１１０内で復号したものもＲＡＷ画像と称す。

現像部１１０はセンサ信号処理部１０３から出力されたＲＡＷ画像の現像処理を実行する。現像部１１０は、複数の異なる現像処理部を有することができる。本実施形態では、現像部１１０が第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２と、それらの出力を選択するスイッチ部１２１とを含む構成を有する場合を説明する。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

本実施形態では、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行う。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像からフォーカス状態や露出状態などの評価値を算出する。現像部１１０によって現像処理された画像は、認識部１３１にも供給される。認識部１３１は、画像中の被写体情報を検出及び認識する機能を有する。例えば、画像によって表される画面内における顔を検出し、ある場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像は、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像を高能率符号化（圧縮符号化）し、情報量が圧縮された画像を生成して、画像データ（静止画データ、又は、動画データ）に変換する。静止画圧縮はＪＰＥＧ等の方式に従い、動画圧縮はＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等の方式に従って実行できる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像を、符号化制御部１７１の指示に基づいて、ウェーブレット変換や、差分符号化等の技術を用いて高能率符号化する符号化部として機能する。本実施形態では、ＲＡＷ圧縮部１１３へのＲＡＷ画像の供給は、バッファ１１５のような一時的な記憶媒体を介することなくセンサ信号処理部１０３から直接に行なわれる。これは、ＲＡＷ画像のようにデータサイズが膨大なデータをバッファに一時的に保持してからＲＡＷ圧縮部１１３に供給する構成では、バス帯域が逼迫し、動画撮影時のような即時の処理が要求される使用には向かないためである。ＲＡＷ圧縮部１１３は、入力された符号化対象のＲＡＷ画像を圧縮された状態のＲＡＷ画像データに変換し、バッファ（一時記憶メモリ）１１５に格納する。バッファ１１５は、ＲＡＷ画像データとしての符号化データを後段の処理のために一時的に保持する。例えば、ＲＡＷ圧縮部１１３が生成したＲＡＷ画像データを記録媒体１５２に書き込む際に一時的に保持したり、記録媒体１５２から読み出したＲＡＷ画像データをＲＡＷ伸張部１１４に提供する際に一時的に保持したりすることができる。ＲＡＷ画像データは、バッファ１１５内に残しておいて再び読み出すことができるが、バッファ１１５に格納された後、別の記録媒体に移動して記録する（バッファ１１５から削除する）ようにしても良い。

ＲＡＷ伸張部１１４は、バッファ１１５に格納されているＲＡＷ画像データを読み出し、圧縮された状態のＲＡＷ画像データを復号してＲＡＷ画像を生成する伸張処理を実行する。ＲＡＷ伸張部１１４による伸張処理により得られたＲＡＷ画像は、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。

制御部１６１は、動画を記録する「動画」、静止画を記録する「静止画」の２つの動作モードのうち、選択中の動作モードを符号化制御部１７１に通知する。符号化制御部１７１は、ＲＡＷ圧縮部１１３が符号化処理をしている間に、次のピクチャの設定パラメータを算出する符号量制御の処理を行う。符号化制御部１７１は、制御部１６１から通知された動作モードと、ＲＡＷ圧縮部１１３から通知された前ピクチャの発生符号量とに基づいて、符号量制御を行い、ＲＡＷ圧縮部１１３に対してピクチャ目標符号量設定、および量子化制御設定を行う。

記録再生部１５１は、ＲＡＷ画像データを含むＲＡＷファイル、静止画データを含む静止画ファイル、及び、動画データを含む動画ファイルを記録媒体１５２に記録する。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルに含まれるＲＡＷ画像データをバッファ１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルに含まれる静止画データを静止画伸張部１４３に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５１は、取得された動画ファイルに含まれる動画データを動画伸張部１４４に供給する。静止画伸張部１４３は、入力された静止画ファイルに含まれる静止画データを復号して静止画を生成する伸張処理を実行し、静止画の再生画像として表示処理部１２２に供給する。動画伸張部１４４は、入力された動画ファイルに含まれる動画データを復号して動画を生成する伸張処理を実行し、動画の再生画像として表示処理部１２２に供給する。

＜ＲＡＷ圧縮部１１３の構成＞
次に、図３（Ａ）を参照して、ＲＡＷ圧縮部１１３の動作を説明する。図３（Ａ）は、ＲＡＷ圧縮部１１３の構成例を示すブロック図である。ＲＡＷ圧縮部１１３は、ウェーブレット変換部３０１、量子化部３０２、符号化部３０３、量子化制御部３０４、相関判定部３０５を有する。ウェーブレット変換部３０１は、センサ信号処理部１０３が出力したＲＡＷ画像に対してウェーブレット変換処理を行い、ＲＡＷ画像をサブバンド画像に変換し係数を出力する。量子化部３０２はウェーブレット変換により得られた係数をサブバンド毎に量子化し、量子化係数を符号化部３０３に出力する。符号化部３０３は例えばゴロム符号化などの符号化方式で量子化係数を圧縮し、ＲＡＷ画像データとしての符号化データをバッファ１１５へ出力する。量子化制御部３０４は、符号化制御部１７１からの指示に基づいて、符号化部３０３から発生符号量の情報を取得し、所定の単位毎に量子化パラメータを演算し、量子化部３０２へ通知する。量子化制御部３０４における量子化パラメータの演算については、図４（Ａ）及び図４（Ｂ）を参照して後述する。

相関判定部３０５は、符号化部３０３から発生符号量を受け取り、前ピクチャの発生符号量と符号化対象ピクチャの発生符号量とに基づいて、ピクチャ間の相関の有無を判定する。相関の有無は、発生符号量と目標符号量との差分が閾値を超えるかどうかにより判定する。当該閾値は、符号化制御部１７１から取得することができる。相関判定部３０５は、判定結果として得られた相関情報（相関の有り／無し）を量子化制御部３０４と、符号化制御部１７１へ通知する。

このとき、量子化制御部３０４に対してはピクチャを構成する領域毎の相関情報を通知し、符号化制御部１７１に対してはピクチャ単位の相関情報を通知することができる。ピクチャを構成する領域については図４（Ａ）を参照して後述する。先頭ピクチャにおいては、ピクチャ間の相関が取れないため相関情報を「相関有り」として符号化制御部１７１に通知する。また、後述するように、第一の設定パラメータと第二の設定パラメータとでは、符号化結果の発生符号量が異なる。よって、第二の設定パラメータで符号化したピクチャの次のピクチャを後述の第一の設定パラメータで符号化した場合、同じ絵柄でも使用パラメータの種別による発生符号量の違いにより「相関無し」と判定されてしまうおそれがある。そこで、第二の設定パラメータが使用された場合も、先頭ピクチャ相当として取り扱うこととし、「相関有り」として符号化制御部１７１に通知する。量子化制御部３０４は、相関判定部３０５から「相関無し」の通知を受けると、符号化制御部１７１の指示が符号化対象ピクチャに適していないと判断し、符号化制御部１７１の指示をキャンセルし、以降の領域については例えば同一分解ＬｖのＨＨ、ＬＨ、ＨＬの各サブバンドの符号量配分を均等になるように量子化制御を行う。詳細は後述する。

次に、図３（Ｂ）を参照して、符号化制御部１７１の動作を説明する。符号化制御部１７１は、設定パラメータ生成部３１１、第一の設定パラメータ保持部３１２、第二の設定パラメータ保持部３１３、設定パラメータ選択部３１４を有する。設定パラメータ生成部３１１は、制御部１６１から通知された動作モードと、ＲＡＷ圧縮部１１３から通知された発生符号量とに基づいて符号量制御を行い、ピクチャ単位の目標符号量と量子化パラメータ、相関判定部３０５が相関を判定するための閾値とを第一の設定パラメータとして生成し、第一の設定パラメータ保持部３１２に保持する。ここで、目標符号量には図５（Ｂ）を参照して後述する、サブバンド毎の目標符号量を含む。また、ＲＡＷ圧縮部１１３から通知された発生符号量は用いずに、制御部１６１から通知された動作モードに基づいて、第二の設定パラメータとしてピクチャ単位の目標符号量と量子化パラメータとを生成し、第二の設定パラメータ保持部３１３に保持する。設定パラメータ選択部３１４は、ＲＡＷ圧縮部１１３から通知された相関情報に基づいて、第一の設定パラメータ保持部３１２に保持した第一の設定パラメータと、第二の設定パラメータ保持部３１３に保持した第二の設定パラメータのうち、どちらか１つを選択し、ＲＡＷ圧縮部１１３に対してピクチャ目標符号量設定、および量子化制御設定を行う。より詳細な動作は後述する。

＜符号化制御部１７１：２つの動作モードの使い分け＞
符号化制御部１７１は、動作モードが「動画」の場合、ＲＡＷ圧縮部１１３に対してピクチャ単位の目標符号量を設定し、量子化制御部３０４による画面内（同一のＲＡＷ画像内）の量子化パラメータ制御を有効にする。一方、動作モードが「静止画」の場合、ＲＡＷ圧縮部１１３に対してピクチャ単位の目標符号量は設定せず、量子化制御部３０４を無効にする。この動作モードでは、ＲＡＷ圧縮部１１３によるＲＡＷ画像データの生成速度が遅いため、符号量制御を行わなくとも、バッファ１１５が破綻することは無い。そのため、量子化制御部３０４を無効にして、符号量の制御よりも画質を優先させることができる。以下、動作モードが「動画」の場合における、符号量制御と量子化制御について、詳細を説明する。

＜動画モード時の量子化制御＞
動画モード時における撮像装置１００の動作を説明する。動画モード時の量子化制御について図４（Ａ）、図４（Ｂ）用いて説明する。図４（Ａ）は、本実施例における符号化対象画像を示す図である。図４（Ｂ）は、画面内の目標符号量と発生符号量の関係を示す図である。

図４（Ａ）は、符号化対象のＲＡＷ画像を領域（０）から領域（３）まで４つの領域に分割している。この場合、量子化制御部３０４は、領域毎に量子化パラメータを決定し、量子化部３０２へと通知する。なお、領域の分割方法及び分割領域の数はあくまで例示であって、より多くの領域に分割されても良い。

次に、量子化制御部３０４における領域毎の量子化パラメータの決定方法について、図４（Ｂ）を用いて説明する。一点鎖線４０１は、各領域における目標符号量の総和を示し、先頭領域のＴ（０）からＴ（３）まで４領域分の値が算出されている。図４（Ｂ）に示すように、ピクチャには領域毎の目標符号量を均等に割り当てている。実線４０２は、各領域の発生符号量の総和を示している。例えば、先頭領域の総発生符号量はＳ（０）となる。先頭領域に続く２つ目の領域の総発生符号量はＳ（１）は、Ｓ（０）と当該２つ目の領域の発生符号量（値はＳ（１）−Ｓ（０）に相当する）とを合計した値となる。３つ目以降の領域については同様に求められる。矢印４０３は、総目標符号量４０１と総発生符号量４０２との符号量差分であるＥＲＲを示す。図４（Ｂ）では、先頭領域の目標符号量Ｔ（０）に対して、発生符号量Ｓ（０）が上回っていることが分かる。このような場合、２領域目は先頭ラインと比較して、量子化パラメータとしての量子化ステップ数を大きくし、２領域目の発生符号量を抑えることで、Ｔ（１）とＳ（１）を近づけるよう、以下の数式を用いて量子化ステップを決定することで制御する。

Q(N)=Q(0)＋ERR(N-1)×R （式１）
Ｑ（n）：領域Ｎの量子化パラメータ（量子化ステップ数）
ERR（n）：領域Ｎまでの総符号量差分
R：制御感度

この式１では、領域０に対して設定した量子化パラメータを基準とし、ＥＲＲの大きさに応じて当該量子化パラメータを調整し、総目標符号量４０１と総発生符号量４０２との符号量差分が小さくなるようにする。領域０に対して設定される量子化パラメータは、設定パラメータ生成部３１１が決定し符号化制御部１７１より通知されたパラメータを用いる。式（１）は、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５に示された画像符号化方式に代表されるものと同様であり、ピクチャに対する目標符号量と実際の発生符号量との差を押さえるために、量子化コードをフィードバック制御により求める。

なお、図４（Ｂ）では、領域毎の目標符号量を均等に割り当てる場合を説明したが、領域毎の目標符号量に重みをつけてもよい。例えば、符号化対象ピクチャの直前のピクチャの符号化結果に基づいて、画像の特徴を把握することができるので、領域毎の目標符号量に重みをつけることができる。図４（Ａ）に示す例では、高周波成分が少ない「空」が多くを占める領域（０）及び領域（１）は目標符号量を少なくすることができる一方、領域（２）、領域（３）は高周波成分の多い「木」が多くを占めるので目標符号量が多くなるように重みをつけてもよい。

＜第一の設定パラメータ及び第二の設定パラメータについて＞
次に、図５（Ａ）及び（Ｂ）を参照して、第一及び第二の設定パラメータの概念を説明する。まず、図５（Ａ）は、ウェーブレット変換により出力される各サブバンドの概念図である。ここでは、ウェーブレット変換を垂直、水平フィルタリングをそれぞれ２回施した、分解レベル２の場合のサブバンド形成図を示している。Ｌは低域、Ｈは高域を表し、Ｌ、Ｈの前の数字が階層レベルを表す。例えば、１ＨＬは、水平方向が高域成分で、垂直方向が低域成分である階層レベル＝１のサブバンド画像を表す。また、左上のサブバンドほど低域成分を多く持ち、画像のエネルギーが集中している。

次に、図５（Ｂ）は、入力画像と、第一の設定パラメータ、および第二の設定パラメータの関係を例示する概念図である。ここで示す第一の設定パラメータ、および第二の設定パラメータは、全サブバンドの設定パラメータのうち、ウェーブレット変換の同一分解レベルのＬｖ１に属する１ＨＬ、１ＬＨ、１ＨＨの３つのサブバンドの設定パラメータを例に挙げているが、他のレベルのサブバンドの設定パラメータを含むことができる。

具体的に、入力画像５０１については、第一の設定パラメータ５０２と、第二の設定パラメータ５０３とが得られる。入力画像５０１のような画像は、縦方向のエッジが多く、水平方向に高周波成分を多く含んでいるため、水平方向にウェーブレット変換を行うと、ハイパス側のサブバンドの係数が大きくなり、圧縮符号化後の発生符号量が多く発生する傾向がある。そこで、第一の設定パラメータ５０２は、符号化結果に基づいて、同一ＬｖのＨＨ、ＬＨ、ＨＬの各サブバンドの符号量の配分を調整し、１ＨＬ成分の符号量の割り当てをより多くし、かつ、１ＬＨ成分の符号量の割当てが少なくなるよう、目標符号量を設定する。但し、第一の設定パラメータ５０２は、あくまで入力画像５０１のパターンに対応したパラメータセットであって、第一の設定パラメータ５０２は、このパターンに限定されるものではない。例えば、入力画像が横方向のエッジが多く、垂直方向に高周波成分を多く含んでいる場合、第一の設定パラメータは１ＬＨ成分の符号量の割り当てをより多くし、かつ、１ＨＬ成分の符号量の割当てが少なくなるよう、目標符号量を設定するのが好ましい。

一方、第二の設定パラメータ５０３は、入力画像に依存せず、同一ＬｖのＨＨ、ＬＨ、ＨＬの各サブバンドの符号量の配分を均一にしている。第二の設定パラメータ５０３は、入力画像によっては最適な設定パラメータにはならない場合も想定されるが、入力画像に依存せずに、一定の符号量制御性と画質を得ることができる。また、第一の設定パラメータと第二の設定パラメータとで目標符号量の合計は同じとすることができる。第一の設定パラメータは、同一の総目標符号量について、サブバンド毎の配分を第二の設定パラメータから変更したものとみなすことができる。よって、ＲＡＷ圧縮部１１３では、第一の設定パラメータが通知されれば、第二の設定パラメータは通知されなくても、第一の設定パラメータから作り出すことが可能である。

＜設定パラメータ選択部３１４が適切に処理出来ない場合＞
次に、図６を参照して、シーンの切り替わりにおいて発生する、設定パラメータの適切な割当てが行えない場合について説明する。図６は、設定パラメータ選択部３１４が常に第一の設定パラメータを選択する場合の、ＲＡＷ圧縮部１１３と、符号化制御部１１７の処理の流れを示している。

入力画像６０１は、符号化対象の入力画像（ピクチャ）の内容と、入力タイミングとを示している。各入力画像の上にある数字はピクチャ番号を示す。相関の有無６０２は、各入力画像が、直前の入力画像と相関を有するか否かを示している。ここでは、２ピクチャ目と３ピクチャ目との間でシーンチェンジが発生し、相関が無くなっている。ピクチャ単位の相関の有無は、１ピクチャ分の圧縮符号化処理（以下、単に「符号化処理」とも言う。）の完了後に判明する。よって、１ピクチャ分の圧縮符号化処理の完了後、相関判定部３０５は相関の有無６０２を設定パラメータ選択部３１４に通知する。圧縮符号化処理６０３は、ＲＡＷ圧縮部１１３が各入力画像６０１について圧縮符号化処理を実行するタイミングを示している。ここで示されている枠の幅が、圧縮符号化処理が実行されている期間に相当し、枠内の数字は圧縮符号化処理の対象のピクチャ番号を示す。

設定パラメータ選択処理６０４は、設定パラメータ選択処理のタイミングを示し、枠内の番号は設定パラメータを選択する対象のピクチャ番号を示す。例えば、先頭の入力画像であるピクチャ１の圧縮符号化処理６０３を実行する直前に、当該ピクチャ１の設定パラメータの選択処理が実行され、ＲＡＷ圧縮部１１３に設定パラメータ選択部３１４から設定パラメータが通知される。設定パラメータ選択処理６０４は、撮像センサの撮像処理の空き時間（ブランキング期間）において実施される。

設定パラメータ生成処理６０５は、設定パラメータの生成タイミングを示し、枠内の番号は生成された設定パラメータを使用するピクチャのピクチャ番号を示す。例えば、先頭の入力画像であるピクチャ１の設定パラメータを選択する直前に、当該ピクチャ１の設定パラメータの生成処理が実行され、設定パラメータ選択処理６０４では、ここで生成された設定パラメータが選択される。第一の設定パラメータ６０６及び第二の設定パラメータ６０７はこの時生成されるパラメータの一例を示している。

また、設定パラメータ生成処理６０５は、ＲＡＷ圧縮部１１３における圧縮符号化処理６０３の開始タイミングと合わせて開始される。このとき、圧縮符号化処理６０３の対象となっているピクチャの直前のピクチャの符号化結果に基づいて設定パラメータが生成される。例えば、ピクチャ２について圧縮符号化処理６０３が実行されているタイミングでは、ピクチャ１についての圧縮符号化処理６０３の結果に基づきピクチャ３のための設定パラメータが生成される。よって、ピクチャ１およびピクチャ２のための設定パラメータを生成する場合、その時点で圧縮符号化処理が完了しているピクチャは無いため、符号化結果をＲＡＷ圧縮部１１３から取得できない。そこで、設定パラメータ生成部３１１は、ピクチャ１及びピクチャ２については第二の設定パラメータのみを生成してＲＡＷ圧縮部１１３に通知する。第二の設定パラメータは図５（Ｂ）に示したように、例えば、同一ＬｖのＨＨ、ＬＨ、ＨＬの各サブバンドの符号量の配分が均一となっている。

ピクチャ３以降では、設定パラメータ生成部３１１は、第一の設定パラメータ６０６と第二の設定パラメータ６０７の両方を生成し、設定パラメータ選択部３１４は第一の設定パラメータをＲＡＷ圧縮部１１３に通知する。但し、図６に示す例ではピクチャ２とピクチャ３との間でシーンチェンジが発生し、入力画像が異なっているため、このまま量子化制御が行われると符号量制御性が悪化し画質が劣化してしまう。ピクチャ４では、ピクチャ２の符号化結果に基づいて算出された、第一の設定パラメータがＲＡＷ圧縮部１１３に通知される。ＲＡＷ圧縮部１１３は、３ピクチャ目と４ピクチャ目の入力画像の変化が少ないため、相関判定部３０５は「相関有り」と判定し、量子化制御部３０４は、通知された第一の設定パラメータに基づいて量子化制御を行う。このとき、２ピクチャ目と３ピクチャ目以降では被写体が変化して入力画像が異なっており、４ピクチャ目で通知された第一の設定パラメータの各サブバンドの目標符号量の配分は、実際の入力画像に対応していない。よって、このまま量子化制御が行われると、符号量制御性が悪化し画質が劣化してしまう。続く５ピクチャ目の設定パラメータについては、設定パラメータ選択部３１４は第一の設定パラメータをＲＡＷ圧縮部１１３に通知する。

このように設定パラメータ選択部３１４が第一の設定パラメータを常に選択する場合、必ずしも適切な設定パラメータが選択されるとは限らない。図６の例では、ピクチャ３については、直前のピクチャ２との間でシーンチェンジが発生しているために第二の設定パラメータが選択されるべきであった。しかし、ピクチャ３の圧縮符号化処理を開始する時点ではそのことが分からず、第一の設定パラメータが選択されてしまう。また、シーンチェンジ発生直後のピクチャ４については、第二の設定パラメータを選択すべきところ、シーンチェンジ前のピクチャに基づく第一の設定パラメータが選択されてしまっている。さらに、適切な設定パラメータが選択されなかったピクチャ３の圧縮符号化結果に基づき生成されたピクチャ５用の第一の設定パラメータは、ピクチャ３のＲＡＷ圧縮部１１３の処理が不安定であることを考慮すれば選択するべきではないが、選択されてしまっている。

このように圧縮符号化処理済みのピクチャに基づき設定されたパラメータは、シーンチェンジ後のピクチャの符号量制御性を悪化させ、画質を劣化させる要因となり得る。そこで、以下の本実施形態ではシーンチェンジ後の設定パラメータの改善された選択方法を提供する。

＜設定パラメータ選択処理＞
図７は、上記問題を解決する本実施形態に対応する設定パラメータ選択部３１４の処理の一例を示すフローチャートである。図７を用いて、ＲＡＷ圧縮部１１３が、符号化対象のピクチャＮの符号化処理を開始する場合に、設定パラメータ選択部３１４が、第一の設定パラメータと第二の設定パラメータの中から、ＲＡＷ圧縮部１１３へ通知する設定パラメータを選択する方法について説明する。ここでＮはピクチャ番号を示す。

Ｓ７０１において設定パラメータ選択部３１４は、ＲＡＷ圧縮部１１３より、符号化対象のピクチャＮの１つ前のピクチャＮ−１について符号化完了の通知を受信する。次にＳ７０２では、ＲＡＷ圧縮部１１３よりピクチャＮ−１についての相関情報を取得する。ここでの相関情報は、符号化が完了したピクチャＮ−１と、当該ピクチャの直前ピクチャＮ−２との間の相関の有無を示している。例えば、図６の例で符号化対象のピクチャＮがピクチャ５であり、符号化完了したピクチャＮ−１がピクチャ４である場合は、ピクチャ４とピクチャ３との間の相関情報を取得する。また、取得した相関情報は次のピクチャＮ＋１について後段のＳ７０４を実行する際に必要になるため、少なくとも次のピクチャＮ＋１について設定パラメータの選択を行なうまでは保持しておく。

続くＳ７０３では、取得したピクチャＮ−１に関する相関情報が「相関無し」を示すか否かを判定する。もし、相関情報が「相関無し」を示す場合、処理はＳ７０６へ進む。一方、相関情報が「相関無し」を示さない、即ち、「相関有り」を示す場合、処理はＳ７０４へ進む。Ｓ７０４では、ピクチャＮ−１の１つ前のピクチャＮ−２に関する相関情報を参照して、ピクチャＮ−２の相関情報が「相関無し」であったか否かを判定する。例えば、図６の例で符号化対象ピクチャＮがピクチャ５で、符号化完了したピクチャＮ−１がピクチャ４である場合、ピクチャ３に関する相関情報として、ピクチャ３とピクチャ２との間の相関情報を参照する。もし、ピクチャＮ−２に関する相関情報も「相関無し」を示す場合は、Ｓ７０６に進む。一方、ピクチャＮ−２に関する相関情報が「相関無し」を示さない、即ち「相関有り」を示す場合はＳ７０５に進む。Ｓ７０５では、第一の設定パラメータを選択し、ＲＡＷ圧縮部１１３に通知する。また、Ｓ７０６では、第二の設定パラメータを選択し、ＲＡＷ圧縮部１１３に通知する。

ここで、Ｓ７０４においてピクチャＮ−２の相関情報を判定する理由を説明する。まず、本実施形態の前提として、ＲＡＷ圧縮部１１３において使用する第一の設定パラメータは、符号化対象ピクチャＮの２つ前のピクチャＮ−２の符号化結果に基づき生成される。その上で、直前のピクチャＮ−１でシーンチェンジが発生しておらず「相関有り」と判定された場合であっても、さらにピクチャＮ−２でシーンチェンジが発生している可能性がある。仮にピクチャＮ−２においてシーンチェンジが発生していた場合、ピクチャＮ−２の符号化処理は不安定となり、ピクチャＮ−２についての符号化結果に基づき生成された第一の設定パラメータは信頼性が低くなる。このような場合、第一の設定パラメータを選択すれば却って符号化効率が悪くなる可能性があるため、一定の符号量制御性と画質を得ることが可能な第二の設定パラメータを選択すべきである。そこで、直前のピクチャの相関情報が「相関有り」を示す場合であっても、少なくとも当該直前のピクチャと、更にその前のピクチャとが２回連続して「相関有り」を示しているかどうかを確認し、少なくとも２回連続して「相関有り」と判定された場合に、第一の設定パラメータを選択するようにしている。

＜設定パラメータ選択部３１４が適切に処理した場合＞
次に図８を参照して、図７のフローチャートに対応する処理を実行することで、シーンの切り替わりが発生した場合であっても設定パラメータを適切に割り当てが可能となることを説明する。図８は、設定パラメータ選択部３１４が、相関情報に基づいて設定パラメータを適切に選択する場合の、ＲＡＷ圧縮部１１３と、符号化制御部１１７の処理の流れを示している。図８においても、入力画像から第二の設定パラメータまでの各内容は図６に示したものと同様であるので、同一の参照番号を付している。図８においても入力画像６０１は、２ピクチャ目と３ピクチャ目との間でシーンチェンジが発生し、相関が無くなっている。以下、主に図６と異なる箇所について詳細に説明する。

ピクチャ１及びピクチャ２については図６に説明したのと同様である。次いでピクチャ３の圧縮符号化処理を行なう場合、ピクチャ２についてＲＡＷ圧縮部１１３から設定パラメータ生成部３１１に対して通知された相関情報が「相関有り」であり、かつ、ピクチャ１に通知された相関情報も「相関有り」のため、設定パラメータ選択部３１４は先頭ピクチャの符号化結果に基づいて算出された、第一の設定パラメータをＲＡＷ圧縮部１１３に通知する。

ＲＡＷ圧縮部１１３は、設定パラメータ選択部３１４から提供された第一の設定パラメータを用いて量子化部３０２が量子化処理を実行し、符号化部３０３が符号化処理を実行する。このとき、ピクチャ２とピクチャ３との間でシーンチェンジが発生し、符号化対象のピクチャ３はピクチャ２とは相関がなくなっている。従って、図４（Ａ）に示した領域（０）を符号化して時点で、図４（Ｂ）に示した目標符号量Ｔ（０）と発生符号量Ｓ（０）との差分ＥＲＲ（０）が閾値を超える値となる可能性が高い。このような場合にＥＲＲ（０）の大きさに応じて相関判定部３０５はピクチャ２とピクチャ３との間の相関がないと判定することができる。量子化制御部３０４は、領域（０）について相関判定部３０５から「相関無し」の通知を受け取ると、それより後の領域（１）以降については、第二の設定パラメータと同等の、同一ＬｖのＨＨ、ＬＨ、ＬＨの各サブバンドの符号量の配分が均等になるように量子化パラメータを設定し量子化制御を行う。上記のように、新たな設定パラメータは通知された第一の設定パラメータに基づき生成することができる。このようにして、シーンチェンジ直後のピクチャについても、圧縮符号化処理の途中段階で第一の設定パラメータを第二の設定パラメータに切替えることができる。

次にピクチャ４の圧縮符号化６０３を行なう場合、設定パラメータ選択部３１４には、直前に圧縮符号化処理されたピクチャ３に関する相関情報がＲＡＷ圧縮部１１３から通知される。この相関情報は「相関無し」のため、設定パラメータ選択部３１４は、ピクチャ２の符号化結果に基づいて算出された第一の設定パラメータを選択せず、第二の設定パラメータをＲＡＷ圧縮部１１３へと通知する。この場合、ＲＡＷ圧縮部１１３には、入力画像に依存しない第二の設定パラメータが通知されるため、一定の符号量制御性と画質を得ることができる。設定パラメータ選択部３１４の処理は、上記の通り非常に軽いため、撮像センサのブランキング期間程度という、非常に短い時間でも実行可能である。

次にピクチャ５の圧縮符号化処理６０３を行なう場合、設定パラメータ選択部３１４には、直前に圧縮符号化処理されたピクチャ４に関する相関情報がＲＡＷ圧縮部１１３から通知される。また、第二の設定パラメータが使用された場合は、先頭ピクチャ相当として取り扱うこととするため、この相関情報は「相関有り」である。しかし、設定パラメータ選択部３１４は、１つ前のピクチャ３に関する相関情報が「相関無し」であったため、ピクチャ３の符号化結果に基づいて算出された第一の設定パラメータを選択せず、第二の設定パラメータをＲＡＷ圧縮部１１３へ通知する。これは、ピクチャ３のＲＡＷ圧縮部１１３の処理が不安定である可能性を考慮したものである。

以上によれば、帯域削減の効果が見込まれる、撮像センサによって撮像されたＲＡＷ画像を、直接圧縮符号化する構成におけるＲＡＷ画像の動画記録時において、シーンの変化が発生した場合でも、一定の符号量制御性と画質を得ることができる撮像装置を提供することができる。

なお、本実施形態の第二の設定パラメータは、設定パラメータ生成部３１１によって毎ピクチャ生成されるように説明したが、先頭ピクチャで生成した第二の設定パラメータを２ピクチャ目以後で使い続ける構成を採用しても良い。また、固定値のテーブルを設定パラメータ生成部３１１内に保持し、符号化結果に応じてテーブルが保持するいずれかの値を選択することで、計算無しで第二の設定パラメータを生成する構成についても、本発明の範疇である。

また、本実施形態の第一の設定パラメータ保持部３１２、第二の設定パラメータ保持部３１３は、符号化制御部内に備えている構成で説明したが、第一の設定パラメータ保持部３１２、第二の設定パラメータ保持部３１３は、ＤＲＡＭ上に存在してもよい。また、設定パラメータ選択部は、ＲＡＷ圧縮部１１３に第一の設定パラメータ、または第二の設定パラメータのＤＲＡＭ上の格納アドレスを通知し、ＲＡＷ圧縮部１１３は、ＤＲＡＭ上から各設定パラメータを読み込み、処理を行う構成についても、本発明の範疇である。

［実施形態２］
図９（Ａ）は、発明の第２の実施形態に係る符号化制御部１７１の構成例を示すブロック図である。本実施形態では、実施形態１の構成に対して、符号化制御部１７１に設定パラメータ更新部９０１が追加されている。設定パラメータ更新部９０１は、ＲＡＷ圧縮部１１３の符号化結果に応じて、第一の設定パラメータのうち、一部の設定パラメータを更新するものであり、設定パラメータ選択部３１４は、更新された第一の設定パラメータをＲＡＷ圧縮部１１３に通知する。その他のブロックについては実施形態１と同様の構成であるため説明を省略する。

図９（Ｂ）は、符号化対象ピクチャＮの１つ前のピクチャＮ−１の目標符号量設定と、符号化対象ピクチャＮの目標符号量設定とが同一である場合の、目標符号量と発生符号量、相関判定に用いる閾値の関係を示す図である。ここでは、各ピクチャの目標符号量設定が領域毎に固定的である場合を例に説明する。但し、実施形態１と同様、目標符号量設定について領域毎に重みづけを行なっても良い。また、相関判定部３０５の処理については、ピクチャＮ−１よりもピクチャＮの符号が多く発生する場合の判定についてのみ説明する。

一点鎖線１００１は、各ピクチャの各領域における目標符号量の総和を示し、先頭領域のＴ（０）からＴ（３）まで４領域分の値が算出されている。ここでは上述のように、領域毎の目標符号量が均等に割り当てられている。実線１００２は、符号化対象ピクチャＮの２つ前のピクチャＮ−２の各領域における発生符号量の総和を示し、先頭領域のＳ（０）からＳ（３）まで４領域分の値がある。実線１００３は、符号化対象ピクチャＮの１つ前のピクチャＮ−１の各領域における発生符号量の総和を示し、先頭領域のＳ´（０）からＳ´（３）まで４領域分の値がある。点線１００４は、符号化対象ピクチャＮの２つ前のピクチャＮ−２の各領域における発生符号量の総和１００２に基づいて算出した、相関判定部３０５が相関判定に使用する閾値である。実線１００５は、設定パラメータ更新部９０１が、符号化対象ピクチャＮの１つ前のピクチャＮ−１の各領域における発生符号量の総和１００３に基づいて算出した、相関判定部３０５が相関判定に使用する閾値である。

相関判定部３０５は、ピクチャ間の相関を判定するため、ピクチャの各領域における発生符号量の総和を基準に算出された閾値を使用し、閾値と発生符号量を比較して、閾値よりも発生符号量が多い場合は、「相関無し」と判定し、そうでなければ「相関有り」と判定する。領域毎の相関を判定する場合、領域毎に閾値と発生符号量を比較して相関を判定してもよい。また、ピクチャ単位の相関を判定する場合、領域毎の判定結果に基づいても良いし、全ての領域の符号化が完了した後の発生符号量の総和と閾値との比較により判定しても良い。

実施形態１と同様に、本実施形態の設定パラメータ生成部３１１も、符号化対象ピクチャＮの１つ前のピクチャＮ−１の符号化中に、ピクチャＮ用設定パラメータを生成しなくてはならない。その際に使用できる符号化結果は、２つ前のピクチャＮ−２のものとなる。そのため、設定パラメータ生成部３１１が算出する閾値１００４は、２つ前のピクチャＮ−２の符号化結果である各領域の発生符号量の総和１００２に基づくものとなる。

しかし、図９（Ｂ）に示したように発生符号量の総和がピクチャ毎に増加していく傾向にある場合は、できるだけ符号化対象ピクチャに近いピクチャに基づいて閾値を設定する必要がある。上記のようにピクチャＮ−２に基づき閾値１００４を設定した場合、ピクチャＮにおける発生符号量の総和が閾値１００４を超えて「相関無し」と判定されることにもなりかねない。ここで示す例のようなピクチャ間の発生符号量の連続的な変化は、通常は相関関係にある同一シーン内のピクチャの変化とみなすことができるので、閾値の設定は、同一シーン内でのフレームの連続的変化による発生符号量の変化と、シーンチェンジによる発生符号量の突然の変化とを区別できるように設定すべきである。

そこで、本実施形態では設定パラメータ更新部９０１が、符号化対象ピクチャＮの１つ前のピクチャＮ−１の符号化結果を取得し、ピクチャＮ−１の各領域に対する発生符号量の総和１００３に基づいて、閾値１００５を算出し、第一の設定パラメータのうち、相関判定部３０５で使用する閾値設定を更新する。当該閾値の更新は、図８に示したＲＡＷ圧縮部１１３による圧縮符号化処理６０３が完了した後、符号化結果が符号化制御部１７１へ通知され、設定パラメータ選択部３１４が設定パラメータ選択処理６０５を行なうまでに実行される。これにより、ＲＡＷ圧縮部１１３に通知される第一の設定パラメータの閾値は、符号化対象ピクチャＮの直前に符号化されたピクチャＮ−１の発生符号量の総和に基づき設定されることとなり、より精度の高い閾値設定をすることができる。

以上においては、本実施形態の相関判定部３０５の処理につき、前ピクチャよりも符号量が多い場合の判定についてのみ説明した。しかし、ピクチャ間の相関判定に用いる閾値は、できるだけ直前のピクチャの符号化結果に基づくことが望ましいことに変わりはないため、発生符号量が減少していく場合についても同様に適用できる。また、発生符号量が変化する傾向に関わりなく、一律に直前のピクチャの発生符号量に基づき閾値を設定してもよい。

以上により、帯域削減の効果が見込まれる撮像センサによって撮像されたＲＡＷ画像を直接圧縮符号化する構成をＲＡＷ画像の動画記録時に採用した場合に、シーンの変化が発生した場合の判定精度を高めることができ、より確実に一定の符号量制御性と画質を得ることができる撮像装置を提供することができる。

１１３ＲＡＷ圧縮部、３０５相関判定部、１７１符号化制御部、３１１設定パラメータ生成部、３１４設定パラメータ選択部

Claims

被写体を撮像して画像を生成する撮像手段と、
前記撮像手段により撮像された画像を符号化して符号化データを生成する符号化手段と、
前記符号化手段による画像の符号化のためのパラメータを算出し、前記符号化手段に提供する符号化制御手段と
を備え、
前記符号化制御手段は、
前記符号化手段が符号化対象の第１の画像の符号化データを生成している間に、次に符号化される第２の画像の符号化のための第一のパラメータを、前記第１の画像の直前に符号化された第３の画像の符号化結果に基づいて算出し、
前記符号化手段による前記第１の画像の符号化の完了後から前記符号化手段による前記第２の画像の符号化の開始までの間に、前記第１の画像と前記第３の画像の相関に基づいて、前記第３の画像の符号化結果に基づいて算出した前記第一のパラメータまたは撮像装置に予め保持されている第二のパラメータとのいずれかを、前記第２の画像の符号化のためのパラメータとして前記符号化手段に提供する
ことを特徴とする撮像装置。
複数のパラメータを保持する保持手段と、前記保持手段により保持された前記複数のパラメータから前記第二のパラメータを選択する選択手段とをさらに有することを特徴とする請求項１に記載の撮像装置。
前記第二のパラメータは、前記撮像装置の動作モードに基づくパラメータであることを特徴とする請求項１または２に記載の撮像装置。
前記符号化手段は、前記第１の画像と前記第３の画像との相関を判定する判定手段を含み、
前記符号化制御手段は、
前記第１の画像と前記第３の画像との相関があると判定された場合に、前記第一のパラメータを選択し、
前記第１の画像と前記第３の画像との相関がないと判定された場合に、前記第二のパラメータを選択する
ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記判定手段は、前記第１の画像と前記第３の画像との符号化結果における発生符号量の比較に基づき前記相関を判定することを特徴とする請求項４に記載の撮像装置。
前記判定手段は、前記第３の画像の符号化結果における発生符号量に基づき前記符号化制御手段が設定した閾値を用いて、前記相関を判定することを特徴とする請求項５に記載の撮像装置。
前記判定手段は、前記第３の画像の直前に符号化された第４の画像の符号化結果における発生符号量に基づき前記符号化制御手段が設定した閾値を用いて、前記相関を判定することを特徴とする請求項５に記載の撮像装置。
前記符号化制御手段は、
前記第一のパラメータに前記第１の画像と前記第２の画像との相関を判定するための閾値を含め、
前記閾値は、前記第３の画像の符号化結果における発生符号量に基づき算出した値を、前記第１の画像の符号化結果における発生符号量に基づき更新した値であることを特徴とする請求項４から７のいずれか１項に記載の撮像装置。
前記符号化制御手段は、
前記判定手段が、前記第１の画像と前記第３の画像との相関があるとの判定を含めて、少なくとも２回連続して相関があると判定した場合に、前記第一のパラメータを前記第２の画像の符号化のためのパラメータとして選択することをさらに特徴とする請求項４から８のいずれか１項に記載の撮像装置。
前記符号化手段は、前記符号化対象の第１の画像を複数の領域に分割して、領域毎に順に符号化を行なって前記符号化データを生成し、
前記判定手段は、前記領域毎の符号化結果に基づき、前記第１の画像と前記第３の画像との領域毎の相関をさらに判定し、
前記複数の領域のうちの第１の領域について前記第一のパラメータを使用した符号化結果に基づき、前記判定手段が前記第１の画像と前記第３の画像とが前記第１の領域について相関がないと判定した場合、前記符号化手段は、前記複数の領域のうち前記第１の領域より後に符号化する領域について前記第二のパラメータを使用することを特徴とする請求項４から９のいずれか１項に記載の撮像装置。
前記符号化手段は、前記画像をウェーブレット変換して複数のサブバンドを生成し、サブバンド毎に前記符号化データを生成することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
前記第一のパラメータは、前記符号化手段による画像の符号化結果に応じて各サブバンドに配分した目標符号量を含み、
前記第二のパラメータは、同一分解レベルの複数のサブバンドに均等に配分した目標符号量を含む
ことを特徴とする、請求項１１に記載の撮像装置。
前記符号化データを一時的に保持するバッファを有し、
前記撮像手段により撮像された画像は、前記バッファを介さずに前記符号化手段に入力されることを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。
前記第１の画像、前記第２の画像、前記第３の画像は、それぞれＲＡＷ画像であることを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
被写体を撮像して生成された画像を符号化して符号化データを生成する符号化工程と、
前記符号化工程における画像の符号化のためのパラメータを算出し提供する符号化制御工程と
を含み、
前記符号化制御工程では、
前記符号化工程において符号化対象の第１の画像の符号化データを生成している間に、次に符号化される第２の画像の符号化のための第一のパラメータが、前記第１の画像の直前に符号化された第３の画像の符号化結果に基づいて算出され、
前記符号化工程における前記第１の画像の符号化の完了後から前記符号化工程における前記第２の画像の符号化の開始までの間に、前記第１の画像と前記第３の画像の相関に基づいて、前記第３の画像の符号化結果に基づいて算出した前記第一のパラメータまたは撮像装置に予め保持されている第二のパラメータとのいずれかが、前記第２の画像の符号化のためのパラメータとして提供される
ことを特徴とする撮像装置が実行する画像処理方法。
コンピュータを請求項１から１４のいずれか１項に記載の撮像装置における符号化手段及び符号化制御手段として動作させるためのプログラム。