JP2019068386A - 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】撮影画像（ＲＡＷデータ）およびデプスマップを符号化処理する際、静止画の連写および動画のフレームレートの低下を抑制する。【解決手段】符号化処理部１０３ａは、撮像によって得られたＲＡＷデータとＲＡＷデータの画素毎の奥行きを示すデプスマップとを符号化処理して符号化データを得る際、ＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に基づいてデプスマップを複数の分割領域に分割し、ＲＡＷデータと複数の分割領域を有するデプスマップとを時分割によって符号化処理する。【選択図】図２

Description

本発明は、符号化装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、映像信号を符号化可能な撮像装置に関する。

撮像装置の１つであるデジタルカメラ又はデジタルカムコーダーの普及によって、デジタル方式によって静止画像又は動画像が撮影されている。デジタル方式で得られた画像は、ソフトウェア又はファームウェアなどを用いた演算処理によって、容易に画像処理を施すことができる。画像処理の１つとして、例えば、レンズの収差補正又はダイナミックレンジの調整などが挙げられる。このような画像処理技術はコンピューテーショナルフォトグラフィーと呼ばれている。

例えば、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）法又はステレオ法などに代表される奥行推定手法によって生成された奥行情報（デプスマップと呼ぶ）を記録して、当該デプスマップに基づいて画像処理を行う撮像装置がある（特許文献１参照）。

特開２０１４−１６８２２７号公報

ところで、デプスマップを生成する際には膨大な演算を必要とするので、静止画の連写撮影又は動画の記録の場合には、撮影画像に対してデプスマップの生成タイミングが離散的となる。

デプスマップは、撮影画像における各点に対応する奥行き情報を有する２次元データであり、画素数に比例してその情報量も増加するので圧縮して記録することが望ましい。そこで、デプスマップをモノクロ画像として扱えば画像データに用いられる圧縮技術を応用することが可能であり、撮影画像と同様の圧縮方式を適用することによって新たに符号化器を追加することなく圧縮記録することができる。

ところが、撮影画像およびデプスマップを１つの符号化器によって、時分割で符号化処理を実行すると、デプスマップの符号化処理に伴って所謂処理レイテンシが発生してしまう。この結果、撮影画像に対する符号化処理が局所的に低下してしまい、例えば、静止画の連写の際に撮影の間隔を一定に保つことが困難となる。また、動画撮影の際にはフレームレートが低下する可能性がある。

そこで、本発明の目的は、撮影画像およびデプスマップを符号化処理する際、静止画の連写および動画のフレームレートの低下を抑制することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による符号化装置は、撮像によって得られたＲＡＷデータと前記ＲＡＷデータの画素毎の奥行きを示すデプスマップとを符号化処理して符号化データを得る符号化装置であって、前記ＲＡＷデータの更新間隔と前記デプスマップの更新間隔との比率に基づいて前記デプスマップを複数の分割領域に分割する分割手段と、前記ＲＡＷデータと前記複数の分割領域を有するデプスマップとを時分割によって符号化処理する符号化手段と、を有することを特徴とする。

本発明によれば、静止画の連写および動画のフレームレートの低下を抑制することができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を説明するためのブロック図である。 図１に示す撮像部の出力であるＲＡＷデータの構成を示す図である。 図１に示す撮像部に備えられた撮像素子の構成についてその一例を説明するための図である。 図１に示すＲＡＷデータ符号化・復号処理部で行われるＲＡＷデータおよびデプスマップの符号化処理を説明するためのフローチャートである。 図１に示すＲＡＷデータ符号化・復号処理部で符号化されるＲＡＷデータおよびデプスマップの一例を示す図である。 図１に示すＲＡＷデータ符号化・復号処理部で行われるデブスマップの領域分割の一例を説明するための図である。 図４に示すＲＡＷデータ符号化・復号処理部１０３で行われる符号化処理の結果についてその一例を示す図である。 本発明の第２の実施形態によるカメラで用いられるＲＡＷデータ符号化・復号処理部の構成についてその一例を示すブロック図である。 本発明の第２の実施形態によるカメラに備えられたＲＡＷデータ符号化・復号処理部で行われるＲＡＷデータおよびデプスマップの符号化処理を説明するためのフローチャートである。 本発明の第２の実施形態によるカメラに備えられたＲＡＷデータ符号化・復号処理部で行われるデブスマップの再領域分割の一例を示す図である。 図９に示すＲＡＷデータ符号化・復号処理部で行われる符号化処理の結果についてその一例を示す図である。 図１０に示す部分領域を再配置した一例を示す図である。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を説明するためのブロック図である。そして、図１（ａ）は撮像装置の構成を示すブロック図であり、図１（ｂ）は図１（ａ）に示すＲＡＷデータ符号化・復号処理部の構成を示すブロック図である。

図示の撮像装置は、例えば、静止画および動画を撮影可能なデジタルカメラ（以下単にカメラと呼ぶ）１００である。カメラ１００は制御部１０１を備えており、制御部１０１はカメラ１００全体の制御を司る。

撮像部１０２は、レンズ光学系および撮像素子を有しており、レンズ光学系は光学レンズおよび絞りを備えるととともに、フォーカス制御およびレンズ駆動部を備え、光学ズームが可能である。撮像素子は、例えば、ＣＣＤイメージセンサー又はＣＭＯＳセンサーであり、レンズ光学系を介して結像した光学像（被写体像）に応じた電気信号を生成する。そして、撮像素子は当該電気信号をデジタル信号に変換してＲＡＷデータとしてＲＡＷデータ符号化・復号処理部１０３およびデプスマップ生成部１０４に送る。

図２は、図１に示す撮像部の出力であるＲＡＷデータの構成を示す図である。

図示のように、ＲＡＷデータは、ベイヤー配列のＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、およびＢ（青）の４つの色要素で構成されている。

図３は、図１に示す撮像部に備えられた撮像素子の構成についてその一例を説明するための図である。そして、図３（ａ）は平面図であり、図３（ｂ）は側面から見た図である。

撮像素子において、画素の各々は１つのマイクロレンズ（ＭＬ）２００を備えるとともに、当該ＭＬ２００に対応づけられた２つの光電変換部２０１および２０２を有している。そして、撮像素子の各画素はレンズ光学系の射出瞳の異なる領域から出射する光束を受光する。ここでは、光電変換部２０の出力に応じてＲＡＷデータ（Ａ画像と呼ぶ）が出力され、電変換部２０２の出力に応じてＲＡＷデータ（Ｂ画像と呼ぶ）が出力される。

再び図１を参照して、図１（ｂ）に示すように、ＲＡＷデータ符号化・復号処理部１０３は、ＲＡＷデータ符号化処理部１０３ａおよびＲＡＷデータ復号処理部１０３ｂを有しており、これらは独立して符号化処理および復号処理を行う。

ＲＡＷデータ符号化処理部１０３ａは、主に撮像部１０２から入力されたＲＡＷデータおよび後述するデプスマップ生成部１０４によって生成されたデプスマップを符号化して得られた符号化データをメモリ１０５に出力する。ＲＡＷデータ復号処理部１０３ｂは、メモリ１０５に格納された符号化データを復号して得た復号データであるＲＡＷデータを画像処理部１０７に送るとともに、復号したデプスマップをメモリ１０５に出力する。

なお、ＲＡＷデータおよびデプスマップは、後述するようにして、時分割で符号化・復号処理される。

デプスマップ生成部１０４は、Ａ画像およびＢ画像を用いて、既知のＤＦＤ法又はステレオ法などを用いて画像中における各点（画素毎）の奥行き距離を算出してデプスマップを生成する。そして、デプスマップ生成部１０４はデプスマップをメモリ１０５に出力する。

メモリ１０５は、カメラ１００を構成する各部から出力される各種データを格納するために用いられる。メモリ１０５は、例えば、揮発性メモリで構成される記憶領域である。メモリＩ／Ｆ部１０６は、カメラ１００の各部からのメモリ・アクセス要求を調停して、メモリ１０５に対する読み出しおよび書き込み制御を行う。

画像処理部１０７は、ＲＡＷデータ符号化・復号処理部１０３から入力されたＲＡＷデータに対して、デモザイク処理、ノイズ除去処理、光学歪み補正処理、および色補正処理などの画像処理を行って画像データを生成する。そして、画像処理部１０７は、当該画像データを表示部１０８および画像データ符号化部１０９に出力する。

画像処理部１０７は、ＲＡＷデータ符号化・復号処理部１０３による符号化データの生成と独立したタイミングで画像処理を行う。つまり、画像処理部１０７は、ＲＡＷデータ符号化・復号処理部１０３によってメモリ１０５に格納された符号化データを復号して得られたＲＡＷデータを独立したタイミングで画像処理する。また、画像処理部１０７は復号されたデプスマップを用いてＡ画像およびＢ画像について画像位置合わせおよび画像合成処理を行って仮想フォーカス距離に対するリフォーカス処理を実行する。

表示部１０８は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイであり、画像処理部１０７の出力である画像データに応じた画像を表示する。

画像データ符号化部１０９ａは、画像処理部１０７の出力である画像データに対して、静止画の場合には、例えば、ＪＰＥＧ、動画の場合には、例えば、ＭＰＥＧの符号化方式に応じて符号化処理して得られた符号化データをメモリ１０５に出力する。

記録処理部１１０は、メモリ１０５に格納された符号化データなどの各種データを記録媒体１１１に記録する。なお、記録媒体１１１は、例えば、不揮発性メモリで構成される記録メディアである。

図４は、図１に示すＲＡＷデータ符号化・復号処理部で行われるＲＡＷデータおよびデプスマップの符号化処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０１の制御下で行われる。

また、図５は、図１に示すＲＡＷデータ符号化・復号処理部で符号化されるＲＡＷデータおよびデプスマップの一例を示す図である。

ここでは、４０９６×２１６０画素のＲＡＷデータを６０フレーム／秒の動画として記録するものする。また、デプスマップは、ＲＡＷデータのフレームレートの４分の１である１５フレーム／秒の更新間隔で生成されるものとする。なお、ＲＡＷデータは、Ａ画像およびＢ画像の双方を符号化して記録することもできるが、ここでは、説明の簡略化のため１つのＲＡＷデータを符号化するものとする。

符号化処理が開始されると、ＲＡＷデータ符号化・復号処理部１０３は、ＲＡＷデータのフレームレートに対するデプスマップの更新間隔（フレームレート）をデプスマップ生成部１０４から取得する（ステップＳ４０１）。なお、ここでは、更新間隔をデプスマップ生成部１０４から取得するものとしたが、ＲＡＷデータの記録開始から最初のデプスマップが生成される時間を測定することによって更新間隔を得るようにしてもよい。

続いて、ＲＡＷデータ符号化・復号処理部１０３は、ＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に基づいてデプスマップの領域分割を行う（ステップＳ４０２）。

図６は、図１に示すＲＡＷデータ符号化・復号処理部で行われるデブスマップの領域分割の一例を説明するための図である。そして、図６（ａ）は水平方向および垂直方向に分割した例を示す図であり、図６（ｂ）は水平方向に分割した例を示す図である。また、図６（ｃ）は垂直方向に分割した例を示す図である。

ここでは、４フレームのＲＡＷデータに対して１つデプスマップが生成されるので、デプスマップは、図６に示すように４つの分割領域ｄ［０］〜ｄ［３］に分割される。分割する際には、図６（ａ）に示すように、水平・垂直方向に分割するか又は図６（ｂ）に示すように水平方向にのみ分割する。さらには、図６（ｃ）に示すように垂直方向にのみに分割するようにしてもよい。なお、各分割領域の面積が均一であれば、図６（ａ）〜図６（ｃ）のいずれに分割してもよい。

続いて、制御部１０１はＲＡＷデータ符号化・復号処理部１０３による符号化データの記録が停止したか否かを判定する（ステップＳ４０３）。符号化データの記録が停止すると（ステップＳ４０３において、ＹＥＳ）、制御部１０１はＲＡＷデータ符号化・復号処理部１０３による符号化処理を終了する。

一方、符号化データの記録が停止しないと（ステップＳ４０３において、ＮＯ）、制御部１０１はＲＡＷデータ符号化・復号処理部１０３を制御して、ＲＡＷデータの符号化処理を行う（ステップＳ４０４）。そして、ＲＡＷデータ符号化・復号処理部１０３はＲＡＷデータの符号化処理が完了すると、符号化対象となるデプスマップの分割領域を決定する（ステップＳ４０５）。

図６に示すように、分割領域の各々にはインデックス番号が付加されており、ＲＡＷデータ符号化・復号処理部１０３はインデックス番号をインクリメントするインデックス・カウンタを有している。ＲＡＷデータ符号化・復号処理部１０３はＲＡＷデータの１フレーム毎にインデックス・カウンタをインクリメントする。また、ＲＡＷデータ符号化・復号処理部１０３は、インデックス番号が分割数となるとインデックス・カウンタをリセットする。そして、ＲＡＷデータ符号化・復号処理部１０３はインデックス・カウンタのカウント値に基づいて分割領域を決定する。

デプスマップは、前述のように、メモリ１０５に格納されている。よって、ＲＡＷデータ符号化・復号処理部１０３は、ディスマップの先頭アドレス、起点座標、水平・垂直画素数などの情報を設定して当該情報に応じて、決定した分割領域のデプスマップ符号化処理を行う（ステップＳ４０６）。そして、処理はステップＳ４０３に戻る。

図７は、図４に示すＲＡＷデータ符号化・復号処理部で行われる符号化処理の結果についてその一例を示す図である。

上述のように、ＲＡＷデータ符号化・復号処理部１０３はＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に基づいてデプスマップを領域分割する。これによって、１つのデプスマップを時間軸方向に分散して符号化するように制御が行われる。よって、図７に示すように、デプスマップの符号化処理を平準化してＲＡＷデータの記録を最大限に行うことができる。

さらに、ここでは、ＲＡＷデータのフレームレートとデプスマップの更新間隔とが固定された例について説明した。メモリ１０５のアクセスの混雑度などの要因によってＲＡＷデータのフレームに対してデプスマップの更新間隔が変動することがある。この場合には、メモリ１０５に複数のデプスマップを一時的に格納するバッファ領域を設ければ、デプスマップの符号化タイミングの平準化を容易に調整することができる。

但し、デプスマップの更新間隔が変動して、バッファ領域がオーバーフローすることもあるので、バッファ領域における蓄積量を測定してデプスマップの符号化処理を制御することが望ましい。例えば、静止画の連写の場合には、デプスマップの記録を優先して、バッファ領域の蓄積量が所定の閾値を超えた場合には、ＲＡＷデータの更新間隔を変更する。これによって、デプスマップためのバッファ領域がオーバーフローしないようにする。

また、動画の場合には、ＲＡＷデータのフレームレートを変更することは望ましくないので、バッファ領域の蓄積量が所定の閾値を超えた場合には、新たに入力されるデプスマップを破棄するように制御してもよい。

このように、本発明の第１の実施形態では、ＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に基づいてデプスマップを領域分割して、デプスマップを符号化処理する。これによって、デプスマップに係る符号化負荷を平準化して、静止画の連写および動画のフレームレートの低下を抑制することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラについて説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様であるが、ＲＡＷデータ符号化・復号処理部１０３の構成が異なる。

図８は、本発明の第２の実施形態によるカメラで用いられるＲＡＷデータ符号化・復号処理部の構成についてその一例を示すブロック図である。

図示のＲＡＷデータ符号化・復号処理部８００はＲＡＷデータ符号化処理部８００ａおよびＲＡＷデータ復号処理部８００ｂを有している。ＲＡＷデータ符号化処理部８００ａおよびＲＡＷデータ復号処理部８００ｂの各々はＲＡＷデータにおける色要素（Ｒ、Ｇ１、Ｇ２、およびＢ）を並列処理可能な４コア構成を有している。これによって、デプスマップを処理する際には、デブスマップの分割領域を並列処理する。

図示のように、ＲＡＷデータ符号化処理部８００ａはプレーン分離部８０１および第１〜第４の符号化処理コア８０２〜８０５を有している。また、ＲＡＷデータ復号処理部８００ｂはプレーン合成部８１０および第１〜第４の復号処理コア８１２〜８１５を有している。

プレーン分離部８０１はＲＡＷデータを色要素Ｒ、Ｇ１、Ｇ２、およびＢに分離して、それぞれ第１〜第４の符号化処理コア８０２〜８０５に送る。第１、第２、第３、および第４の符号化処理コア８０２、８０３、８０４、および８０５はそれぞれ色要素Ｒ、Ｇ１、Ｇ２、およびＢについて符号化処理を行う。

第１、第２、第３、および第４の復号処理コア８１２、８１３、８１４、および８１５は符号化データを受けてそれぞれ色要素Ｒ、Ｇ１、Ｇ２、およびＢについて復号処理を行う。そして、プレーン合成部８１１は復号処理された色要素Ｒ、Ｇ１、Ｇ２、およびＢについて合成処理を行う。

図９は、本発明の第２の実施形態によるカメラに備えられたＲＡＷデータ符号化・復号処理部で行われるＲＡＷデータおよびデプスマップの符号化処理を説明するためのフローチャートである。

なお、図示のフローチャートに係る処理は制御部１０１の制御下で行われる。図９において、図４に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。また、ここでは、第１の実施形態と同様に、４０９６×２１６０画素のＲＡＷデータを６０フレーム／秒の動画として記録するものする。また、デプスマップは、ＲＡＷデータのフレームレートの４分の１である１５フレーム／秒の更新間隔で生成されるものとする。

ステップＳ４０２において、ＲＡＷデータ符号化・復号処理部８００はデプスマップを、例えば、図６（ａ）に示すように４つの領域に分割する。

ステップＳ４０５の処理の後、４並列で符号化処理を行うため、ＲＡＷデータ符号化・復号処理部８００は、ステップＳ４０２で領域分割されたディスマップをさらに再分割する（ステップＳ９０６）。

図１０は、本発明の第２の実施形態によるカメラに備えられたＲＡＷデータ符号化・復号処理部で行われるデブスマップの再領域分割の一例を示す図である。

ステップＳ９０６の処理では、分割領域ｄ［０］〜ｄ［３］の各々がさらに４つの部分領域に分割される。図示の例では、分割領域ｄ［０］は部分領域ｄ［００］〜ｄ［０３］に分割され、分割領域ｄ［１］は部分領域ｄ［１０］〜ｄ［１３］に分割される。また、分割領域ｄ［２］は部分領域ｄ［２０］〜ｄ［２３］に分割され、分割領域ｄ［３］は部分領域ｄ［３０］〜ｄ［３３］に分割される。

前述のように、デプスマップは、メモリ１０５に格納されている。よって、ＲＡＷデータ符号化・復号処理部８００は、ディスマップの先頭アドレス、起点座標、水平・垂直画素数などの情報を４つの分割領域分纏めて設定して当該情報に応じて、決定した分割領域のデプスマップ符号化処理を行う（ステップＳ９０７）。そして、処理はステップＳ４０３に戻る。

図１１は、図９に示すＲＡＷデータ符号化・復号処理部で行われる符号化処理の結果についてその一例を示す図である。

上述のように、ＲＡＷデータ符号化・復号処理部８００はＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に基づいてデプスマップを領域分割する。さらに、ＲＡＷデータ符号化・復号処理部８００は、符号化処理の並列処理数に基づいて分割領域を再分割する。これによって、１つのデプスマップを時間軸方向に分散して、かつ並列符号化処理を行う制御が行われる。よって、図１１に示すように、第１の実施形態よりもさらにデプスマップの符号化処理を平準化してＲＡＷデータの記録を最大限に行うことができる。

ここでは、ＲＡＷデータ符号化・復号処理部８００の並列処理数に合わせて分割領域を図１０に示すように再分割した。一方、図１０に示す４つの分割領域ｄ［０］〜ｄ［３］を有するデプスマップを再配置するようにしてもよい。

図１２は、図１０に示す部分領域を再配置した一例を示す図である。

図１２に示すように、ベイヤー配列におけるＲ、Ｇ１、Ｇ２、およびＢの位置に画素単位に部分領域をインターリーブして再配置したデプスマップを生成する。これによって、４つの部分領域を意識することなく、ＲＡＷデータのように見せかけて並列符号化処理を行うことができる。

このように、本発明の第２の実施形態では、ＲＡＷデータのフレームレートとデプスマップの更新間隔との比率に応じてデプスマップを領域分割し、さらに符号化処理の並列処理数に基づいて分割領域を再分割してデプスマップを符号化処理する。これによって、デプスマップに係る符号化負荷を平準化して、静止画の連写および動画のフレームレートの低下を抑制することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を符号化装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを符号化装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 制御部
１０２ 撮像部
１０３，８００ ＲＡＷデータ符号化・復号処理部
１０４ デプスマップ生成部
１０５ メモリ
１０６ メモリＩ／Ｆ部
１０７ 画像処理部
１０８ 表示部
１１０ 記録処理部
１１１ 記録媒体

Claims (11)

1. 撮像によって得られたＲＡＷデータと前記ＲＡＷデータの画素毎の奥行きを示すデプスマップとを符号化処理して符号化データを得る符号化装置であって、
   前記ＲＡＷデータの更新間隔と前記デプスマップの更新間隔との比率に基づいて前記デプスマップを複数の分割領域に分割する分割手段と、
   前記ＲＡＷデータと前記複数の分割領域を有するデプスマップとを時分割によって符号化処理する符号化手段と、
   を有することを特徴とする符号化装置。
2. 前記デプスマップは一時的にメモリに記憶されることを特徴とする請求項１に記載の符号化装置。
3. 前記分割手段は、さらに前記分割領域を複数の部分領域に分割し、
   前記符号化手段は前記複数の部分領域を有するデブスマップを色要素の各々について並列して符号化処理を行うことを特徴とする請求項１又は２に記載の符号化装置。
4. 前記分割手段は、前記符号化手段における並列処理の数に基づいて前記デプスマップにおける分割領域を複数の部分領域に分割することを特徴とする請求項３に記載の符号化装置。
5. 前記色要素はベイヤー配列で配列されており、前記分割手段は前記デプスマップにおける部分領域をベイヤー配列に対応させて並べ替えることを特徴とする請求項４に記載の符号化装置。
6. 前記ＲＡＷデータを所定の更新間隔で符号化処理する際、前記メモリに記憶されたデプスマップの量が所定の閾値を超えると、前記ＲＡＷデータの更新間隔を変更する制御手段を有することを特徴とする請求項２に記載の符号化装置。
7. 前記ＲＡＷデータを所定の更新間隔で符号化処理する際、前記メモリに記憶されたデプスマップの量が所定の閾値を超えると、新たに前記メモリに記憶されるデプスマップを破棄する制御手段を有することを特徴とする請求項２に記載の符号化装置。
8. 被写体を撮像してＲＡＷデータを得る撮像手段と、
   前記ＲＡＷデータに基づいてデプスマップを生成する生成手段と、
   請求項１乃至７のいずれか１項に記載の符号化装置と、
   前記符号化装置によって得られた符号化データを記録媒体に記録する記録手段と、
   を有することを特徴とする撮像装置。
9. 前記記録媒体に記録された符号化データを復号して復号データとする復号手段を有することを特徴とする請求項８に記載の撮像装置。
10. 撮像によって得られたＲＡＷデータと前記ＲＡＷデータの画素毎の奥行きを示すデプスマップとを符号化処理して符号化データを得る符号化装置の制御方法であって、
    前記ＲＡＷデータの更新間隔と前記デプスマップの更新間隔との比率に基づいて前記デプスマップを複数の分割領域に分割する分割ステップと、
    前記ＲＡＷデータと前記複数の分割領域を有するデプスマップとを時分割によって符号化処理する符号化ステップと、
    を有することを特徴とする制御方法。
11. 撮像によって得られたＲＡＷデータと前記ＲＡＷデータの画素毎の奥行きを示すデプスマップとを符号化処理して符号化データを得る符号化装置で用いられる制御プログラムであって、
    前記符号化装置が備えるコンピュータに、
    前記ＲＡＷデータの更新間隔と前記デプスマップの更新間隔との比率に基づいて前記デプスマップを複数の分割領域に分割する分割ステップと、
    前記ＲＡＷデータと前記複数の分割領域を有するデプスマップとを時分割によって符号化処理する符号化ステップと、
    を実行させることを特徴とする制御プログラム。

Images