JP2009017386A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像して順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割し、分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに係り、特に、連続的な撮像によって得られた画像データを動画像データとして圧縮する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、デジタル電子スチールカメラ（以下、「ＤＳＣ」という。）では、例えば、スポーツやペットの動きなどを撮影する際に、シャッターチャンスを逃さないために、高速（１秒あたりの撮影枚数が多い）かつ持続時間の長い連写が求められている。

しかし、この種のＤＳＣでは、連写速度を高速に（フレームレートを高く）すると、各撮像によって得られた画像データによってＤＳＣの内部に備えられたバッファメモリが短時間でフル状態になってしまい、持続時間が短くなってしまう。一方、この種のＤＳＣでは、連写速度を低速にすると、持続時間が長くなるものの、１秒あたりの撮影枚数が少なくなるため、シャッターチャンスを逃してしまう場合がある。

このように、ＤＳＣにおいて、連写速度の高速性と持続時間の長さとの２つの要素は互いにトレードオフの関係にあり、この２つの要素を両立させることは困難であった。

例えば、撮像される画像データの画像サイズが８００万画素前後の市場で販売されている各ＤＳＣ（製品１〜製品５）の連写速度と持続時間の関係は、図１４に示すようになっている。

すなわち、図１５に示すように、例えば、画像サイズが８００万画素程度の画像を８ｆｐｓのフレームレートで連写し、ＪＰＥＧ方式の標準的な圧縮率（２ｂｉｔ／ｐｅｌ）で圧縮を行った場合、１秒当たりの撮影によって得られる画像データのデータ量は１６ＭＢｙｔｅとなる。しかし、現状メモリカードへのデータの書き込み速度は２ＭＢｙｔｅ／ｓ〜１０ＭＢｙｔｅ／ｓ程度であり、例えば、データの書き込み速度が２ＭＢｙｔｅ／ｓのメモリカードである場合、１秒当たりの画像データのデータ量が２ＭＢｙｔｅを下回るように圧縮を行う必要がある。すなわち、最もデータの書き込み速度が速いメモリカードを用いてもＪＰＥＧ方式ではメモリカードへの画像データのリアルタイム書き込み続けることができない。

そこで、特許文献１には、撮像によって得られたＲＡＷデータの記憶部への書き込みと圧縮係数を求めるための圧縮変換（符号量見積もり）とを平行して行なうことにより、連写時に必要な動作時間の短縮する技術が開示されている。

しかしながら、特許文献１に記載の技術では、動作時間の短縮して連写に必要な動作時間を確保することができるものの、依然として連写によって得られた画像データをメモリカードへリアルタイムに書き込み続けることができない。

一方、高い圧縮率で動画像を圧縮する動画圧縮規格として、例えば、Ｈ．２６４が知られている。

このＨ．２６４は、１０８０ｉ形式（１９２０×１０８０画素、３０ｆｐｓ）の場合、約１０Ｍｂｐｓでの鑑賞に耐える画質を有しており、圧縮率に換算すると約０．１６ｂｉｔ／ｐｅｌとなり、１秒当たりの画像データのデータ量が約１．０８ＭＢｙｔｅ／ｓとなるため、メモリカードへのリアルタイムでの書き込みが可能である。
特開２００４−８８２９４号公報

しかしながら、Ｈ．２６４規格などの動画圧縮規格では、１枚のフレーム画像として圧縮可能な圧縮可能画素数の上限が決まっており、上限よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができない、という問題点があった。

例えば、１０８０ｉ形式のＨ．２６４規格では、圧縮可能画素数の上限は２００万画素程度である。このため、近年、１０００万画素に近い画素数の画像データを撮影可能なＤＳＣが主流になりつつある状況においてはＨ．２６４規格の圧縮方式を用いても画像データをメモリカードへリアルタイムに書き込み続けることができない。

本発明は上記問題点を解消するためになされたものであり、所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段と、前記撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割する分割手段と、前記分割手段による分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する圧縮手段と、を備えている。

請求項１記載の発明では、撮像手段により、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像が連続的に撮像されて、撮像された画像を示す画像データが順次出力され、分割手段により、撮像手段から順次出力された各画像データにより示される画像が前記圧縮可能画素数以下の画素数の分割画像に分割され、圧縮手段により、分割手段による分割よって得られた各分割画像が前記動画圧縮規格の圧縮方式で圧縮された動画像データが生成される。

このように請求項１記載の発明によれば、撮像手段により連続的に撮像されて順次出力された各画像データにより示される画像を、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数以下の画素数の分割画像に分割し、分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成するので、所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができる。

なお、本発明は、請求項２記載の発明ように、前記圧縮手段により生成された動画像データを記憶する記憶手段と、前記記憶手段から前記動画像データを読み出し、当該動画像データから各分割画像を順次伸張する伸張手段と、前記伸張手段により順次伸張された各分割画像を合成して前記フレーム画像を順次復元する復元手段と、前記復元手段により復元された各フレーム画像を順次表示する表示手段と、をさらに備えてもよい。なお、上記記憶手段には、ＲＡＭ（Random Access Memory）、フラッシュメモリ（flash memory）等の半導体記憶素子、ｘＤピクチャーカード（xD-Picture Card（登録商標））、コンパクト・フラッシュ（CompactFlash（登録商標））、マイクロドライブ（登録商標）等の可搬記憶媒体やハードディスク等の固定記憶媒体、或いはネットワークに接続されたサーバ・コンピュータ等に設けられた外部記憶装置が含まれる。

また、請求項２記載の発明は、請求項３記載の発明ように、前記分割手段が、前記各画像データにより示される画像を当該画像内において各分割画像が他の分割画像と互いに重なり合う領域を有するように分割し、前記復元手段が、各分割画像を合成する際に前記重なり合う領域内については同じ画素同士の画像情報を平均化することにより合成するようにしてもよい。

また、請求項２又は請求項３記載の発明は、請求項４記載の発明ように、前記動画圧縮規格の圧縮方式が、フレーム画像内の相関性に基づいて符号化したＩピクチャ、及びフレーム画像間の相関性に基づいて符号化したＢピクチャ又はＰピクチャの少なくとも一方を生成することにより各フレーム画像を動画像として圧縮する圧縮方式であり、前記復元手段により復元されたＩピクチャに対応するフレーム画像と、当該フレーム画像との間でフレーム画像間の相関性に基づいて符号化されたＢピクチャ又はＰピクチャに対応するフレーム画像とのデータ量の差に相関する相関値を導出する導出手段と、前記復元手段により復元された各フレーム画像のうち、前記導出手段により導出された相関値が所定値以上になるＢピクチャ又はＰピクチャに対応するフレーム画像を前記表示手段による表示対象から除外する除外手段と、をさらに備えてもよい。

さらに、請求項２又は請求項３記載の発明は、請求項５記載の発明ように、前記表示手段に前記動画像データによって最初に表示されるフレーム画像を基準画像として、表示順に前記復元手段により復元された各フレーム画像と前記基準画像との差違に相関する相関値を求め、当該相関値が最初に予め定められた値以上になるフレーム画像を前記表示手段による表示対象として抽出した後に、抽出されたフレーム画像を新たな基準画像として当該抽出されたフレーム画像よりも後に表示される各フレーム画像と当該基準画像との前記相関値を求めて表示対象とするフレーム画像を抽出することを繰り返すことにより、前記復元手段により復元された各フレーム画像から表示対象とするフレーム画像の抽出を行なう抽出手段をさらに備えてもよい。

一方、上記目的を達成するために、請求項６記載の画像処理方法は、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割し、分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成するものである。

従って、請求項６記載の画像処理方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができることができる。

一方、上記目的を達成するために、請求項７記載の画像処理プログラムは、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割する分割ステップと、前記分割ステップによる分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する圧縮ステップと、をコンピュータに実行させるものである。

従って、請求項７記載の画像処理プログラムによれば、コンピュータに対して請求項１記載の発明と同様に作用させることができるので、請求項１記載の発明と同様に、所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができることができる。

このように、本発明によれば、撮像手段により連続的に撮像されて順次出力された各画像データにより示される画像を、所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数以下の画素数の分割画像に分割し、分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成するので、所定の動画圧縮規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができる、という効果が得られる。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、以下では、本発明をＤＳＣ等の撮像装置に適用した場合について説明する。

［第１の実施の形態］
図１には、本実施の形態に係る撮像装置１０の概略構成を示すブロック図が示されている。

同図に示すように撮像装置１０は、フォーカスレンズを含む光学レンズユニットを内蔵したレンズ部２２と、レンズ部２２により受光面上に結像された被写体像に応じた画像信号（アナログの画像データ）を生成して出力するＣＣＤイメージセンサ２４と、ＣＣＤイメージセンサ２４から出力された画像信号に所定のアナログ信号処理を施した後にアナログ／デジタル（Ａ／Ｄ）変換を行うアナログ信号処理回路（図１では「ＡＦＥ」と記載。）２６と、デジタルデータに対して各種のデジタル信号処理を行うデジタル・シグナル・プロセッサ（以下、「ＤＳＰ」という。）２８と、を備えている。

ＣＣＤイメージセンサ２４の出力端はアナログ信号処理回路２６の入力端に、アナログ信号処理回路２６の出力端はＤＳＰ２８の入力端に、各々接続されている。従って、ＣＣＤイメージセンサ２４から出力された被写体像を示すアナログ信号はアナログ信号処理回路２６によって所定のアナログ信号処理が施された後に、Ａ／Ｄ変換が行われてデジタルデータに変換された画像データがＤＳＰ２８に入力される。

一方、撮像装置１０は、後述する画像処理プログラムや画像表示処理プログラムを含む各種プログラムや各種パラメータ等が予め記憶されたＲＯＭ（Read Only Memory）３０と、ＤＳＰ２８による各種プログラムの実行時のワークエリア等として用いられるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３２と、撮像された画像データに対して所定の動画圧縮規格の圧縮方式での圧縮処理及び伸張処理を行うコーデック（codec）ＬＳＩ３４と、当該コーデックＬＳＩ３４での圧縮処理及び伸張処理においてワークアリアとして用いられるＳＤＲＡＭ３６と、画像データが記録される記録メディア３８と、画像を表示するＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）４０と、をさらに備えている。

なお、本実施の形態に係る撮像装置１０では、ＣＣＤイメージセンサ２４及びアナログ信号処理回路２６の信号処理によって画像のサイズが８００万画素の画像データが生成されるものとする。

ＤＳＰ２８、ＲＯＭ３０、ＳＤＲＡＭ３２、記録メディア３８、ＬＣＤ４０は、システムバスＢＵＳを介して相互に接続されている。また、ＤＳＰ２８は、コーデックＬＳＩ３４と電気的に接続されており、コーデックＬＳＩ３４は、ＳＤＲＡＭ３６と電気的に接続されている。

従って、ＤＳＰ２８は、ＲＯＭ３０、ＳＤＲＡＭ３２、及び記録メディア３８に対するアクセスと、ＬＣＤ４０に対する各種情報の表示の制御と、コーデックＬＳＩ３４による画像データに対する圧縮処理及び伸張処理の制御と、を各々行うことができる。

次に、本実施の形態に係る撮像装置１０の作用を説明する。

本実施の形態に係る撮像装置１０は、静止画像の撮影と動画像の撮影を各々行うことが可能とされており、撮像装置１０に備えられた図示しない動作モード切替スイッチによって静止画像の撮影を行う静止画像撮影モードと動画像の撮影を行う動画像撮影モードへの切り替えが可能とされている。

ＣＣＤイメージセンサ２４は、動作モードが静止画像撮影モードである場合、撮像装置１０に備えられた図示しないレリーズボタンが押されてタイミングで、受光面に結像される画像を示す画像信号を生成して出力する。一方、ＣＣＤイメージセンサ２４は、動作モードが動画像撮影モードである場合、レリーズボタンが１度押されてタイミングで撮像を開始し、所定のフレームレート（ここでは、７．５ｆｐｓ）で受光面に結像される画像を示す画像信号を順次生成して出力し、レリーズボタンが再度度押されてタイミングで撮像を終了する。

アナログ信号処理回路２６は、ＣＣＤイメージセンサ２４から出力された画像信号に対して、例えば、相関二重サンプリングなどの所定のアナログ信号処理を施した後に、Ａ／Ｄ変換を行い、デジタルデータに変換した画像データをＤＳＰ２８に出力する。

ＤＳＰ２８は、アナログ信号処理回路２６から出力された画像データに対して各種のデジタル信号処理を行う。そして、ＤＳＰ２８は、動作モードが静止画像撮影モードである場合、デジタル信号処理後の画像データに対して所定の静止画像圧縮規格の圧縮方式（例えば、ＪＰＥＧ方式）での圧縮処理を行い、圧縮処理後の画像データを記録メディア３８に出力する。一方、ＤＳＰ２８は、動作モードが動画像撮影モードである場合、デジタル信号処理後の各画像データにより示される画像をコーデックＬＳＩ３４において圧縮可能画素数以下の画素数の分割画像に分割し、分割画像を示す分割画像データをコーデックＬＳＩ３４に順次出力する。

コーデックＬＳＩ３４は、順次出力された合成画像データを所定の動画圧縮規格の圧縮方式で圧縮して動画像データを生成する。

なお、本実施の形態に係るコーデックＬＳＩ３４は、所定の動画圧縮規格としてＨ．２６４規格の１０８０ｉ形式（１９２０×１０８０画素、３０ｆｐｓ）の圧縮方式で圧縮処理を行うものとされている。

図２には、動作モードが動画像撮影モードとされてレリーズボタンが押されて際にＤＳＰ２８により実行される画像処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムはＲＯＭ３０の所定領域に予め記憶されている。

同図のステップ１００では、アナログ信号処理回路２６からの画像データの入力待ちを行い、画像データが入力するとステップ１０２へ移行する。

ステップ１０２では、入力した画像データにより示される画像をコーデックＬＳＩ３４において圧縮可能画素数以下の画素数の分割画像に分割する。

なお、本実施の形態では、入力した画像データにより示される８００万画素の画像を２００万画素程度の４つの分割画像に分割する。

図３には、画像データにより示される画像を分割して４つの分割画像に分割した結果の一例が模式的に示されている。

なお、本実施の形態では、画像データにより示される画像を分割画像に分割する際に、図４に示すように、当該画像内において各分割画像が他の分割画像と互いに重なり合う領域（以下、「オーバーラップ領域」という。）を有するように分割する。なお、図４では、各分割画像のオーバーラップ領域を判別しやすくするため、各分割画像を上下方向にずらして示している。

次のステップ１０４では、上記ステップ１０２において分割された各分割画像を示す分割画像データをコーデックＬＳＩ３４に順次出力する。

これにより、コーデックＬＳＩ３４は、入力された分割画像データをそれぞれＨ．２６４規格の１０８０ｉ形式の圧縮方式で圧縮して動画像データを生成する。

次のステップ１０６では、動画像の撮像の終了が指示された否かを判定し、肯定判定となった場合は本画像処理プログラムを終了し、否定判定となった場合は再度ステップ１００へ移行して画像データの入力待ちを行う。

図５には、本実施の形態に係る撮像装置１０により動画像を記録する際のタイミングチャートの一例が示されている。

同図に示すように、ＣＣＤイメージセンサ２４による所定のフレームレート（ここでは、７．５ｆｐｓ）での撮像によって得られた各画像データにより示される画像は、それぞれ４つの分割画像に分割され、分割よって得られた各分割画像を示す分割画像データがコーデックＬＳＩ３４に出力される。これにより、ＤＳＰ２８から分割画像データが出力されるフレームレートは、３０ｆｐｓ（＝７．５ｆｐｓ×４）となる。

コーデックＬＳＩ３４は、ＤＳＰ２８から出力される各分割画像データを画像内の相関性に基づいてＩピクチャとして符号化して圧縮した動画像データを生成する。

生成された動画像データは、ＤＳＰ２８を介して記録メディア３８に出力され、記録メディア３８に記憶される。

このように、本実施の形態に係る撮像装置１０によれば、Ｈ．２６４規格の１０８０ｉ形式の圧縮方式で圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像によって得られた各画像データにより示される画像を圧縮可能画素数以下の画素数の分割画像に分割し、分割よって得られた各分割画像をＨ．２６４規格の１０８０ｉ形式の圧縮方式で圧縮しているので、Ｈ．２６４規格で圧縮可能な圧縮可能画素数よりも多い画素数の画像を当該動画圧縮規格で圧縮して記録することができる。

また、本実施の形態に係る撮像装置１０によれば、図１４に示される従来のＤＳＣでは記録することができなかった８００万画素という画素数の多い画像を７．５ｆｐｓ（図１４の破線で囲まれた領域。）という高いフレームレートで連続的に記録することができる。

一方、本実施の形態に係る撮像装置１０は、記録メディア３８に記憶された動画像データとして記憶された各画像をＬＣＤ４０に表示することが可能とされており、図示しない動作モード切替スイッチにより各画像の表示を行う画像表示モードへの切り替えが可能とされている。

撮像装置１０では、動画像データとして記憶された各画像の表示を行う場合、動作モード切替スイッチが画像表示モードに切り替えられ、撮像装置１０に備えられた図示しない操作パネルで表示対象とする動画像データが指定される。また、撮像装置１０では、ＬＣＤ４０に表示された画像を切り替える場合、当該操作パネルに対して次の画像の表示が指示される。

ＤＳＰ２８では、動作モード切替スイッチが画像表示モードとされて動画像データが指定されると、以下の画像表示処理プログラムが実行される。

図６には、ＤＳＰ２８により実行される画像表示処理プログラムの処理の流れを示すフローチャートが示されている。なお、当該プログラムはＲＯＭ３０の所定領域に予め記憶されている。

同図のステップ１５０では、操作パネルで指定された動画像データの１枚目のフレーム画像（動画像の撮影において最初に撮像された画像）を表示対象と設定する。

次のステップ１６０では、コーデックＬＳＩ３４に対して表示対象としたフレーム画像に対応する各分割画像データの伸張を指示する。

これにより、コーデックＬＳＩ３４は、記録メディア３８から動画像データを読み出して表示対象としたフレーム画像に対応する各分割画像データを順次伸張し、各分割画像データをＤＳＰ２８に順次出力する。

次のステップ１６２では、コーデックＬＳＩ３４からの分割画像データの入力待ちを行い、分割画像データが入力するとステップ１６４へ移行する。

ステップ１６４では、１枚のフレーム画像に対応する各分割画像データが入力したか否かを判定、肯定判定となった場合はステップ１６６へ移行する一方、否定判定となった場合はステップ１６２へ移行して分割画像データの入力待ちを行う。

なお、本実施の形態では、１枚のフレーム画像に対応する４つの分割画像データが入力すると本ステップ１６４が肯定判定になる。

ステップ１６６では、４つの分割画像データにより示される各分割画像を合成してフレーム画像を復元する。

なお、本実施の形態では、各分割画像データにより示される各分割画像にオーバーラップ領域を設けているが、オーバーラップ領域については同じ画素同士の輝度値や色差値などの画像情報を平均化することにより合成する。

このように分割画像を合成する際に、オーバーラップ領域内の同じ画素同士の画像情報を平均化することにより、復元したフレーム画像において分割画像の境界部分を目立たなくすることができる。

次のステップ１８０では、上記ステップ１６６において復元したフレーム画像をＬＣＤ４０に表示させる。

次のステップ１８４では、操作パネルに対して次の画像の表示が指示されたか否かを判定し、肯定判定となった場合はステップ１８６へ移行する一方、否定判定となった場合はステップ１８８へ移行する。

ステップ１８６では、動画像データの次のフレーム画像を表示対象と設定し、再度ステップ１６０へ移行する。

一方、ステップ１８８では、操作パネルに対して画像表示の終了が指示されたか否かを判定し、肯定判定となった場合は本画像表示処理プログラムを終了する一方、否定判定となった場合はステップ１８４へ移行して操作パネルに対する操作待ちを行う。

このように、本実施の形態に係る撮像装置１０によれば、Ｈ．２６４規格で圧縮された動画像データに含まれる各分割画像をフレーム画像に復元してＬＣＤ４０に表示させることができる。

なお、本実施の形態では、コーデックＬＳＩ３４が各分割画像データをそれぞれＩピクチャとして符号化して動画像データを生成する場合について説明したが、例えば、コーデックＬＳＩ３４が分割画像データの圧縮を行う際に、フレーム画像内の相関性に基づいて符号化したＩピクチャ（Ｉフレーム）、及びフレーム画像間の相関性に基づいて符号化したＢピクチャ（Ｂフレーム）又はＰピクチャ（Ｐフレーム）の少なくとも一方を生成することにより各フレーム画像を動画像として圧縮するものとした場合、ＤＳＰ２８から出力する分割画像データの出力順を入れ替えることが好ましい。

すなわち、例えば、コーデックＬＳＩ３４が、画像をＩピクチャとして符号化し、その後、ｎ枚（ｎは１以上の整数）（例えば、２枚）の画像を、Ｉピクチャとして符号化した画像との画像間の相関性に基づいてＢピクチャとして符号化することを繰り返して各画像を動画像として圧縮するものとする。この場合、ＤＳＰ２８は、撮像によって得られた各画像データにより示される画像を分割画像に分割した後に各分割画像を示す分割画像データをＳＤＲＡＭ３２に一旦記憶させ、図７に示すように、ｎ＋１枚（ここでは、３枚）の画像単位で、画像内において同じ位置に対応する分割画像毎に、コーデックＬＳＩ３４においてＩピクチャとして符号化されるタイミングを画像内における出力対象とする分割画像の位置を切り替えるタイミングとして、撮像された順に各分割画像を示す分割画像データをコーデックＬＳＩ３４に出力することが好ましい。なお、図７に示される丸付き数字の「１」〜「２４」は、各分割画像を示す分割画像データのコーデックＬＳＩ３４への出力順の一例を示している。これにより、コーデックＬＳＩ３４において、Ｉピクチャとして符号化される分割画像に類似する分割画像がＢピクチャとして符号化されるため、データの圧縮率を高めることができる。

図８には、このように、本実施の形態に係る撮像装置１０により画像を分割画像に分割してＩピクチャとして符号化し、その後、ｎ枚（ｎは１以上の整数）（例えば、２枚）の画像を、Ｉピクチャ及びＢピクチャとして符号化することを繰り返して動画像を記録する際のタイミングチャートの一例が示されている。

また、このように圧縮された動画像データを復元して表示させる場合、ＤＳＰ２８では、Ｉピクチャとして符号化されたフレーム画像及び当該画像との相関性に基づいてＢピクチャとして符号化されたフレーム画像にそれぞれ対応する１組の分割画像データ（図７の丸付き数字の「１」〜「１２」の各分割画像を示す分割画像データ）がコーデックＬＳＩ３４から全て入力した後に、各フレーム画像毎に、当該フレーム画像に対応する４つの分割画像データにより示される各分割画像を合成してフレーム画像を復元すればよい。

［第２の実施の形態］
ところで、上記第１の実施の形態の技術を用いて連続的に撮像を行なった場合、大量に画像が撮像される。このため、ユーザが撮像された大量の画像をＬＣＤ４０に順次表示させて画像を確認しようとした場合、手間がかかる。

そこで、本第２の実施の形態では、大量の画像から選択的に画像をＬＣＤ４０に表示させることによりユーザの手間を軽減させる形態例について説明する。

第２の実施の形態に係る撮像装置１０の概略構成は、図１に示される第１の実施の形態と同様であるため、その説明を省略する。

また、本実施の形態に係るコーデックＬＳＩ３４は、分割画像データの圧縮を行う際に、フレーム画像内の相関性に基づいて符号化したＩピクチャ、及びフレーム画像間の相関性に基づいて符号化したＢピクチャを生成して各フレーム画像を動画像として圧縮することによりデータの圧縮率を高めている。

ところで、図９には、本実施の形態に係る撮像装置１０により画像１コマ毎に２０ピクセル分、及び２００ピクセル分ずつ画角全体をパンさせて動画像の撮像を行なって動画像データを記録した場合の、当該動画像データにＩピクチャとして記録されたフレーム画像とＢピクチャとして記録されたフレーム画像のデータ量の一例が示されている。

同図に示されるように、画像１コマ毎に２００ピクセル分ずつ画角全体をずらした場合よりも２０ピクセル分ずつ画角全体をずらした場合の方が画角のずれが小さくフレーム画像間の相関性が高いため、Ｉピクチャとして記録されたフレーム画像とＢピクチャとして記録されたフレーム画像とのデータ量の差が大きくなっている。

そこで、本実施の形態では、Ｉピクチャとして記録されたフレーム画像とＢピクチャとして記録されたフレーム画像とのデータ量の差が大きい場合、フレーム画像内での被写体との変化が小さいため、Ｂピクチャとして記録されたフレーム画像を表示対象から除外するものとする。

図１０には、第２の実施の形態に係る画像表示処理プログラムの処理の流れを示すフローチャートが示されている。なお、同図における図６と同一処理部分には、図６と同一の符号を付してその説明を省略する。

同図のステップ１５２では、記録メディア３８に記憶された動画像データを参照して表示対象としたフレーム画像がＩピクチャとして圧縮されたフレーム画像であるか否かを判定し、肯定判定となった場合はステップ１６０へ移行する一方、否定判定となった場合はステップ１５４へ移行する。

ステップ１５４では、表示対象としたフレーム画像がＢピクチャとして圧縮されたフレーム画像であるため、記録メディア３８に記憶された動画像データを参照して、当該表示対象としたフレーム画像と間で相関性を有するＩピクチャに対応するフレーム画像と、当該表示対象としたフレーム画像とのデータ量の差に相関する相関値を導出する。

なお、本実施の形態では、この相関値としてデータ量の差を求めるものとするが、これに限定されるもではなく、例えば、Ｉピクチャに対応するフレーム画像のデータ量と、表示対象としたフレーム画像のデータ量との比率としてもよく、データ量の差に相関する値であればいずれであってもよい。

次のステップ１５６では、上記ステップ１５４において導出したデータ量の差が所定値以上であるか否かを判定し、肯定判定となった場合はステップ１５８へ移行する一方、否定判定となった場合はステップ１６０へ移行する。この所定値は、Ｉピクチャに対応するフレーム画像とＢピクチャに対応するフレーム画像とが類似していると認識できる値として予め撮像装置１０実機を用いた実験や、撮像装置１０の設計仕様等に基づいてコンピュータ・シュミレーション等によって定められたものが適用されて、ＲＯＭ３０に予め記憶されている。

なお、本実施の形態では、図１１に示されるように、動画像データにはフレーム画像が分割されて記憶されている。このため、本実施の形態では、上記ステップ１５４において、画像内において同じ位置に対応する分割画像毎（図１１では、丸付き数字の「１」と「２」、「４」と「５」、「７」と「８」、及び「１０」と「１１」毎）にデータ量の差を導出し、本ステップ１５６において、位置毎に導出したデータ量の差が全て所定値以上である場合はステップ１５８へ移行する一方、分割画像別に導出したデータ量の差の何れかが所定値未満である場合はステップ１６０へ移行する。

ステップ１５８では、表示対象としたフレーム画像と間で相関性を有するＩピクチャに対応するフレーム画像と、表示対象としたフレーム画像との類似性が高いため、表示対象としたフレーム画像を表示対象から除外し、撮影順に次のフレーム画像を表示対象と設定し、再度ステップ１５２へ移行する。

このように本実施の形態によれば、Ｉピクチャとして記録されたフレーム画像に類似するＢピクチャとして記録されたフレーム画像が除外されてＬＣＤ４０に表示されるため、ユーザの手間を軽減することができる。

［第３の実施の形態］
本第３の実施の形態では、撮像された大量の画像から選択的に画像をＬＣＤ４０に表示させる別な形態例について説明する。

第３の実施の形態に係る撮像装置１０の概略構成は、図１に示される第１の実施の形態と同様であるため、その説明を省略する。

図１２には、第３の実施の形態に係る画像表示処理プログラムの処理の流れを示すフローチャートが示されている。なお、同図における図６と同一処理部分には、図６と同一の符号を付してその説明を省略する。

同図のステップ１６８では、ＬＣＤ４０に動画像データによるフレーム画像が既に表示済みであるか否かを判定し、肯定判定となった場合はステップ１７０へ移行する一方、否定判定となった場合はステップ１８０へ移行する。これにより、ＬＣＤ４０に動画像データによるフレーム画像が既に表示されている場合に以下のステップ１７０の処理が行なわれる。

ステップ１７０では、ＳＤＲＡＭ３２に記憶された画像データにより示されるＬＣＤ４０に表示されたフレーム画像と上記ステップ１６６において復元したフレーム画像との差違に相関する相関値を求める。なお、このＬＣＤ４０に表示されたフレーム画像の画像データは後述するステップ１８２の処理においてＳＤＲＡＭ３２に記憶される。

なお、本実施の形態では、この相関値として、画素毎に輝度の差の絶対値を累計した累計値を求めるものとするが、これに限定されるものではなく、例えば、輝度以外に明度の差の絶対値やＲＧＢなどの各色毎の濃度値の差の絶対値などであってもよく、また、例えば、画像内において同じ位置となる画素毎に輝度の変化率の絶対値を求め、当該絶対値を累計した累計値としてもよく、画像の差違に相関する値であればいずれであってもよい。

次のステップ１７２では、上記ステップ１７０において求めた累計値が予め定められた値以上になるか否かを判定し、肯定判定となった場合はステップ１８０へ移行する一方、否定判定となった場合はステップ１７４へ移行する。この予め定められた値は、２つのフレーム画像が類似していると認識できる値として予め撮像装置１０実機を用いた実験や、撮像装置１０の設計仕様等に基づいてコンピュータ・シュミレーション等によって定められたものが適用されて、ＲＯＭ３０に予め記憶されている。

ステップ１７４では、表示対象としたフレーム画像内での被写体の変化が小さく、類似性が高いため、当該フレーム画像を表示対象から除外し、撮影順に次のフレーム画像を表示対象と設定し、再度ステップ１５２へ移行する。

これにより、図１３に示すように、上記累計値が予め定められた値未満となるフレーム画像は、ＬＣＤ４０に表示されたフレーム画像からの被写体の変化が小さいため、当該フレーム画像を表示対象から除外される。

一方、ステップ１８２では、ＬＣＤ４０に表示させたフレーム画像を示す画像データをＳＤＲＡＭ３２に記憶させる。

このように本実施の形態によれば、撮像された大量の画像から被写体の変化が大きいフレーム画像を抽出してＬＣＤ４０に表示させることができるため、ユーザの手間を軽減することができる。

なお、上記各実施の形態では、動画圧縮規格としてＨ．２６４を用いた場合について説明したが、本発明はこれに限定されるものではなく、例えば、ＭＰＥＧ等の他の動画圧縮規格を用いてもよい。

また、上記各実施の形態では、８００万画素の画像を撮像する場合について説明したが、本発明はこれに限定されるものではない。

また、上記各実施の形態では、１枚の画像を４つの分割画像に分割する場合について説明したが、本発明はこれに限定されるものではない。

その他、上記各実施の形態で説明した撮像装置１０の概略構成（図１参照。）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

また、上記各実施の形態で説明した画像処理プログラム（図２参照。）及び画像表示処理プログラム（図６、図１０、及び図１２参照。）の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。

実施の形態に係る撮像装置の概略構成を示すブロック図である。 実施の形態に係る画像処理プログラムの処理の流れを示すフローチャートである。 実施の形態に係る画像を分割画像に一旦分割し、当該分割画像を合成した画像を模式的に示した模式図である。 実施の形態に係る分割画像のオーバーラップ領域を模式的に示した模式図である。 第１の実施の形態に係る動撮像時の流れを示すタイムチャートである。 第１の実施の形態に係る実施の形態に係る画像表示処理プログラムの処理の流れを示すフローチャートである。 変形例に係る画像を分割画像に分割する際の流れを模式的に示した模式図である。 変形例に係る動撮像時の流れを示すタイムチャートである。 第２の実施の形態に係る画角全体をパンさせて動画像の撮像した際のＩピクチャとして記録されたフレーム画像とＢピクチャとして記録されたフレーム画像のデータ量の一例を示すグラフである。 第２の実施の形態に係る実施の形態に係る画像表示処理プログラムの処理の流れを示すフローチャートである。 第２の実施の形態に係るフレーム画像を表示する際の流れを模式的に示した模式図である。 第３の実施の形態に係る実施の形態に係る画像表示処理プログラムの処理の流れを示すフローチャートである。 第３の実施の形態に係るフレーム画像を表示する際の流れを模式的に示した模式図である。 従来のＤＳＣ（製品１〜製品５）の連写速度と持続時間の関係を示すグラフである。 従来の技術に係る連写速度と書き込み速度（ビットレート）の関係を示すグラフである。

符号の説明

１０ 撮像装置
２４ イメージセンサ（撮像手段）
３８ 記録メディア（記憶手段）
２８ ＤＳＣ（分割手段、復元手段）
３４ コーデックＬＳＩ（圧縮手段、伸張手段、導出手段、除外手段、抽出手段）
４０ ＬＣＤ（表示手段）

Claims (7)

1. 所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段と、
   前記撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割する分割手段と、
   前記分割手段による分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する圧縮手段と、
   を備えた画像処理装置。
2. 前記圧縮手段により生成された動画像データを記憶する記憶手段と、
   前記記憶手段から前記動画像データを読み出し、当該動画像データから各分割画像を順次伸張する伸張手段と、
   前記伸張手段により順次伸張された各分割画像を合成して前記フレーム画像を順次復元する復元手段と、
   前記復元手段により復元された各フレーム画像を順次表示する表示手段と、
   をさらに備えた請求項１記載の画像処理装置。
3. 前記分割手段は、前記各画像データにより示される画像を当該画像内において各分割画像が他の分割画像と互いに重なり合う領域を有するように分割し、
   前記復元手段は、各分割画像を合成する際に前記重なり合う領域内については同じ画素同士の画像情報を平均化することにより合成する
   請求項２記載の画像処理装置。
4. 前記動画圧縮規格の圧縮方式は、フレーム画像内の相関性に基づいて符号化したＩピクチャ、及びフレーム画像間の相関性に基づいて符号化したＢピクチャ又はＰピクチャの少なくとも一方を生成することにより各フレーム画像を動画像として圧縮する圧縮方式であり、
   前記復元手段により復元されたＩピクチャに対応するフレーム画像と、当該フレーム画像との間でフレーム画像間の相関性に基づいて符号化されたＢピクチャ又はＰピクチャに対応するフレーム画像とのデータ量の差に相関する相関値を導出する導出手段と、
   前記復元手段により復元された各フレーム画像のうち、前記導出手段により導出された相関値が所定値以上になるＢピクチャ又はＰピクチャに対応するフレーム画像を前記表示手段による表示対象から除外する除外手段と、
   をさらに備えた請求項２又は請求項３記載の画像処理装置。
5. 前記表示手段に前記動画像データによって最初に表示されるフレーム画像を基準画像として、表示順に前記復元手段により復元された各フレーム画像と前記基準画像との差違に相関する相関値を求め、当該相関値が最初に予め定められた値以上になるフレーム画像を前記表示手段による表示対象として抽出した後に、抽出されたフレーム画像を新たな基準画像として当該抽出されたフレーム画像よりも後に表示される各フレーム画像と当該基準画像との前記相関値を求めて表示対象とするフレーム画像を抽出することを繰り返すことにより、前記復元手段により復元された各フレーム画像から表示対象とするフレーム画像の抽出を行なう抽出手段をさらに備えた
   請求項２又は請求項３記載の画像処理装置。
6. 所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割し、
   分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する
   画像処理方法。
7. 所定の動画圧縮規格の圧縮方式においてフレーム画像として圧縮可能な圧縮可能画素数よりも多い画素数の画像を連続的に撮像し、撮像した画像を示す画像データを順次出力する撮像手段から順次出力された各画像データにより示される画像を前記圧縮可能画素数以下の画素数の分割画像に分割する分割ステップと、
   前記分割ステップによる分割よって得られた各分割画像を前記動画圧縮規格の圧縮方式で圧縮して動画像データを生成する圧縮ステップと、
   をコンピュータに実行させる画像処理プログラム。