JP7156367B2 - 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム - Google Patents

Description

参照による取り込み

本出願は、平成３０年（２０１８年）３月３０日に出願された日本出願である特願２０１８－７０１９９の優先権を主張し、その内容を参照することにより、本出願に取り込む。

本発明は、動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラムに関する。

領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、異なる撮像条件で撮像されたフレームの動画圧縮は従来考慮されていない。

特開２００６－１９７１９２号公報

本開示技術の動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する画像処理部と、前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームとのブロックマッチングに基づいて圧縮する圧縮部と、を有する。

本開示技術の他の動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する画像処理部と、前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮する圧縮部と、を有する。

本開示技術の伸張装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮した圧縮ファイルを伸張する伸張装置であって、前記圧縮ファイル内の圧縮フレームを前記フレームに伸張する伸張部と、前記伸張部によって伸張されたフレーム内の前記第２撮像条件に基づく画像処理が実行された特定被写体の画像データについて、前記第２撮像条件と前記第１撮像条件とに基づく画像処理を実行する画像処理部と、を有する。

本開示技術の電子機器は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子と、前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する実行する画像処理部と、前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームとのブロックマッチングに基づいて圧縮する圧縮部と、を有する。

本開示技術の他の電子機器は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子と、前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する実行する画像処理部と、前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮する圧縮部と、を有する。

本開示技術の動画圧縮プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームの圧縮をプロセッサに実行させる動画圧縮プログラムであって、前記プロセッサに、前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行させ、前記画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮させる。

本開示技術の伸張プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮した圧縮ファイルをプロセッサに伸張させる伸張プログラムであって、前記プロセッサに、前記圧縮ファイル内の圧縮フレームを前記フレームに伸張させ、伸張された前記フレーム内の前記第２撮像条件に基づく画像処理が実行された特定被写体の画像データについて、前記第２撮像条件と前記第１撮像条件とに基づく画像処理を実行させる。

図１は、積層型撮像素子の断面図である。 図２は、撮像チップの画素配列を説明する図である。 図３は、撮像チップの回路図である。 図４は、撮像素子の機能的構成例を示すブロック図である。 図５は、電子機器のブロック構成例を示す説明図である。 図６は、撮像面と被写体像との関係を示す説明図である。 図７は、実施例１にかかる動画圧縮例を示す説明図である。 図８は、動画ファイルのファイルフォーマット例を示す説明図である。 図９は、実施例１にかかる伸張例を示す説明図である。 図１０は、図５に示した制御部の構成例を示すブロック図である。 図１１は、検出部による特定被写体の探索例を示す説明図である。 図１２は、制御部の動作処理手順例を示すシーケンス図である。 図１３は、図１２に示した設定処理（ステップＳ１２０６、Ｓ１２１２）の詳細な処理手順例を示すフローチャートである。 図１４は、図１３に示した特定被写体検出処理（ステップＳ１３０２）の詳細な処理手順例を示すフローチャートである。 図１５は、図１２に示した画像処理（ステップＳ１２１３、Ｓ１２１５）の詳細な処理手順例を示すフローチャートである。 図１６は、動画データの再生処理の詳細な処理手順例を示すフローチャートである。 図１７は、実施例２にかかる図１３に示した特定被写体検出処理（ステップＳ１３０２）の詳細な処理手順例を示すフローチャートである。 図１８は、実施例３にかかる動画圧縮例を示す説明図である。 図１９は、実施例３にかかる伸張例を示す説明図である。 図２０は、実施例４にかかる動画圧縮例を示す説明図である。 図２１は、実施例４にかかる伸張例を示す説明図である。 図２２は、実施例５にかかる動画圧縮例を示す説明図である。 図２３は、実施例５にかかる伸張例を示す説明図である。

＜撮像素子の構成例＞
初めに、電子機器に搭載する積層型撮像素子について説明する。なお、この積層型撮像素子は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。

図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸１２０に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。

画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成るブロック２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つのブロック２０２について、同時に電荷蓄積を開始したときに、一方のブロック２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子１００は、１回の撮像において、ブロック２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。

撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）をブロック２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック２０２ごとに変化させることができる。また、撮像素子１００は、動画撮像時のフレームレートをブロック２０２ごとに変化させることができる。

以上をまとめると、撮像素子１００は、ブロック２０２ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック２０２ごとに設けられ、ブロック２０２ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック２０２ごとに露光時間（シャッタースピード）を異ならせることができる。

また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。

また、ブロック２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

また、撮像条件は、たとえば、ブロック２０２ごとに独立して制御可能な区画（１区画が１つのブロック２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック２０２ごとに明るさ（絞り値）を制御することが可能になる。

なお、ブロック２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。ブロック２０２は、少なくとも１個の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。

図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２０２（２０２－１～２０２－４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、画素２０１のリセットトランジスタ３０３は、ブロック２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、ブロック２０２単位でオン／オフされる。図３に示す例において、左上ブロック２０２－１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－１が設けられており、同ブロック２０２－１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－１も設けられる。

同様に、左下ブロック２０２－３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－３が、上記リセット配線３００－１とは別個に設けられる。また、同ブロック２０２－３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－３が、上記ＴＸ配線３０７－１と別個に設けられる。

右上ブロック２０２－２や右下ブロック２０２－４についても同様に、それぞれリセット配線３００－２とＴＸ配線３０７－２、およびリセット配線３００－４とＴＸ配線３０７－４が、それぞれのブロック２０２に設けられている。

各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記ブロック２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。

各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記ブロック２０２ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。

そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記ブロック２０２（２０２－１～２０２－４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記ブロック２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。

そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

上述したように、ブロック２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２０２内の４画素に対して同時に印加される。したがって、あるブロック２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。

このように、ブロック２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２０２間では、異なったタイミングで撮像することができる。

図４は、撮像素子１００の機能的構成例を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つのブロック２０２の分の接続を示すが、実際にはこれらが４つのブロック２０２ごとに存在して、並列で動作する。

ただし、演算回路４１５は４つのブロック２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つのブロック２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、ブロック２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜電子機器のブロック構成例＞
図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置や伸張装置、再生装置となる。また、メモリカード５０４、ＤＲＡＭ５０６、およびフラッシュメモリ５０７は、後述する記憶デバイス７０３を構成する。

撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。

撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プロセッサとその周辺回路とから構成される。

不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２のプロセッサは、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。

液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を実行していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。

制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。

録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、電子機器５００に内蔵されたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やハードディスクのような不図示の記録媒体に記録してもよい。

＜撮像面２００と被写体像との関係＞
図６は、撮像面２００と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像６０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像６０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。

制御部５０２は、（ａ）の撮像により得られた被写体像６０１に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体を検出する処理である。実施例１では、主要被写体以外は背景とする。画像解析処理によって、主要被写体が検出されるため、撮像面２００は、主要被写体が存在する主要被写体領域６０２と、背景が存在する背景領域６０３とに分割される。

なお、（ａ）では、被写体像６０１を大まかに含む領域を主要被写体領域６０２として図示しているが、主要被写体領域６０２は、被写体像６０１の外形に沿った形状であってもよい。つまり、被写体像６０１以外のものをできるだけ含まないように主要被写体領域６０２を設定してもよい。

制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定する。たとえば、前者の各ブロック２０２には、後者の各ブロック２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域６０２では像ぶれが発生しにくくなる。

また、制御部５０２は、背景領域６０３に存在する太陽などの光源の影響で、主要被写体領域６０２が逆光状態となっている場合には、前者の各ブロック２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定したりする。また、制御部５０２は、後者の各ブロック２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域６０２の黒つぶれや、光量の大きい背景領域６０３の白飛びを防止することができる。

なお、画像解析処理は、上述した主要被写体領域６０２を検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれるブロック２０２について、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定してもよい。

また、制御部５０２は、後者の領域に含まれるブロック２０２については、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。

図６の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報６０４の一例を示す。主要被写体領域６０２に属するブロック２０２の位置には「１」が、背景領域６０３に属するブロック２０２の位置には「２」がそれぞれ格納されている。

制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体領域６０２を検出する。これにより、（ａ）の撮像によるフレームは、（ｂ）に示すように、主要被写体領域６０２と、主要被写体領域６０２とならなかった領域である背景領域６０３とに分割される。制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報６０４の例を、（ｄ）に示す。

（ａ）の撮像の結果に対応する（ｂ）のマスク情報６０４と、（ｃ）の撮像の結果に対応する（ｄ）のマスク情報６０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報６０４が異なる内容になる。換言すると、マスク情報６０４は、時間経過に伴い変化する動的情報である。従って、あるブロック２０２において、フレームごとに異なる撮像条件が設定されることになる。

以下、上述した撮像素子１００を用いた動画の圧縮、伸張、および再生の実施例について説明する。従来では、撮像素子１００の撮像面２００に設定された複数の撮像領域の各々について異なる撮像条件（たとえば、ＩＳＯ感度）を設定しても、撮像後にある撮像領域のＩＳＯ感度を変更するような画像処理（補正）を実行することが考慮されていない。したがって、動画圧縮時のブロックマッチング精度が低減する。本実施例では、撮像後においても、変更したかった撮像条件で撮像されたかのように画像処理を実行することが可能である。これにより、動画圧縮時のブロックマッチング精度の向上を図る。

＜動画圧縮例＞
図７は、実施例１にかかる動画圧縮例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、画像処理部７０１と、圧縮部７０２と、を含む。撮像素子１００は、上述したように、被写体を撮像する撮像領域を複数有する。撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上のブロック２０２である。以下では、撮像領域にブロック２０２ごとにＩＳＯ感度を設定する例を説明する。

ここでは、撮像領域のうち、第１撮像領域には、第１撮像条件（たとえば、ＩＳＯ感度１００）が設定され、第１撮像領域以外の第２撮像領域には、第１撮像条件と値が異なる第２撮像条件（たとえば、ＩＳＯ感度２００）が設定される。なお、第１撮像条件および第２撮像条件の値は一例である。第２撮像条件のＩＳＯ感度が第１撮像条件のＩＳＯ感度よりも高感度であってもよく、また低感度であってもよい。

撮像素子１００は、被写体を撮像して、画像信号を一連のフレームとして画像処理部７０１に出力する。図７では、時間方向に連続するフレームをＦｉ‐１，Ｆｉと表記する（ｉは２≦の整数）。フレームＦｉ‐１は、フレームＦｉの先行フレームである。また、フレームＦｉの次のフレームをフレームＦｉ＋１と表記する。フレームＦｉ－１の先行フレームをフレームＦｉ－２と表記する。なお、フレームを区別しない場合は、単にフレームＦと表記する。フレームＦ内において、撮像素子１００のある撮像領域で撮像されて生成された画像データの領域を「画像領域」と称す。

本例では、撮像素子１００の全撮像領域が第１撮像領域、すなわち、第１撮像条件（ＩＳＯ感度１００）に設定されるものとする。また、第１撮像領域のうち、被写体が存在または存在するであろう撮像領域が第２撮像領域であり、第２撮像条件（ＩＳＯ感度２００）に設定される。第１撮像領域での撮像により出力される画像データの領域を第１画像領域とし、第２撮像領域での撮像により出力される画像データの領域を第２画像領域とする。

画像領域は、たとえば、撮像素子１００の撮像領域に対応した複数の領域である。図７では、例として、フレームＦは、４×４の画像領域で構成される。１つの画像領域は、１以上の画素の集合により構成され、１以上のブロック２０２（撮像領域）に対応する。第１撮像領域に対応する画像領域を第１画像領域と称し、第２撮像領域に対応する画像領域を第２画像領域と称す。したがって、第１画像領域には、第１撮像条件（ＩＳＯ感度１００）で撮像されて生成された画像データが存在し、第２画像領域には、第２撮像条件（ＩＳＯ感度２００）で撮像されて生成された画像データが存在する。

また、フレームＦには、背景ではない特定被写体７００が含まれているものとする。（Ａ）では、被写体検出により、フレームＦｉ‐１内の被写体が存在する右下の２×２の画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４が、第２撮像条件（ＩＳＯ感度２００）に設定された第２撮像領域に対応する第２画像領域となる。

また、フレームＦｉ内の特定被写体７００が存在する中央左側の縦の２つの画像領域Ｂ２２、Ｂ３２は、１つ前のフレームＦｉ－１とフレームＦｉ－２（不図示）との間における特定被写体７００の位置の予測で、第２撮像条件（ＩＳＯ感度２００）に設定された第２撮像領域に対応する第２画像領域である。特定被写体７００の位置予測の結果、第２撮像領域および対応する第２画像領域が予測される。また、実際の特定被写体７００は、第２画像領域Ｂ２２、Ｂ３２での位置予測が外れたことにより、左端中央の画像領域Ｂ２１、Ｂ２２に位置するものとする。

画像処理部７０１は、第１撮像条件（ＩＳＯ感度１００）で撮像された特定被写体７００が存在する画像領域の画像データについて、第２撮像条件（ＩＳＯ感度２００）に相当する画像処理（以下、「第２画像処理」と称す。）を実行する。具体的には、たとえば、画像処理部７０１は、フレームＦｉの特定被写体７００が存在する第１画像領域Ｂ２１、Ｂ３１の画像データについて、第２画像処理を実行する。第２画像処理は、第１撮像条件（ＩＳＯ感度１００）で撮像された第１画像領域の画像データを、あたかも第２撮像条件で撮像されたかのように補正する画像処理である。

すなわち、第２画像処理では、撮像後にＩＳＯ感度が２^Ｎ倍（Ｎは１以上の整数）で撮像されたように補正したい場合、画像データの露出が＋（１．０×Ｎ）ＥＶに補正される。実施例１の場合、ＩＳＯ感度１００で得られた画像データをＩＳＯ感度２００で撮像したように補正したいため（すなわち、Ｎ＝１）、画像処理部７０１は、第１画像領域Ｂ２１、Ｂ３１の画像データの露出を１段上げる第２画像処理（＋１．０ＥＶ）を実行する。画像処理部７０１は、このように設定された異なる撮像条件の差に基づいて補正する。具体的には、たとえば、画像処理部７０１は、撮像条件の設定値（たとえば、ＩＳＯ感度１００，２００）の差に基づいて補正する。

また、画像処理部７０１は、第２撮像条件（ＩＳＯ感度２００）で撮像された特定被写体７００が存在しなくなった画像領域の画像データについては、第１撮像条件（ＩＳＯ感度１００）に相当する画像処理（以下、「第１画像処理」と称す。）を実行する。第１画像処理は、第２撮像条件（ＩＳＯ感度２００）で撮像された第２画像領域の画像データを、あたかも第１撮像条件で撮像されたかのように補正する画像処理である。

すなわち、第１画像処理では、撮像後にＩＳＯ感度が２^－Ｎ倍で撮像されたように補正したい場合、画像データの露出が－（１．０×Ｎ）ＥＶに補正される。実施例１の場合、ＩＳＯ感度２００で得られた画像データＩＳＯ感度１００で撮像したように補正したいため（すなわち、Ｎ＝１）、画像処理部７０１は、第２画像領域Ｂ２２、Ｂ３２の画像データの露出を１段下げる第１画像処理（－１．０ＥＶ）を実行する。

圧縮部７０２は、動き補償フレーム間予測（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）と離散コサイン変換（ＤＣＴ：ＤｉｓｃＢｅｔｅ Ｃｏｓｉｎｅ ＴＢａｎｓｆｏＢｍ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、ブロックマッチングを適用することで、画像処理部７０１から出力されるフレームＦを圧縮する。

これにより、特定被写体７００が存在する画像領域は、第２画像処理が施された第１画像領域（Ｂ２１、Ｂ３１）となるため、特定被写体７００は各フレームにおいて同等の明るさとなる。したがって、フレームＦｉ－１、Ｆｉ間でのブロックマッチングの精度向上を図ることができる。また、特定被写体７００が存在しないのに第２撮像条件（ＩＳＯ感度２００）で撮像された画像領域についても第１画像処理が実行されるため、当該画像領域は各フレームにおいて同等の明るさとなる。したがって、フレームＦｉ－１、Ｆｉ間でのブロックマッチングの精度向上を図ることができる。圧縮部７０２によって圧縮されたフレームＦ（以下、圧縮フレームＦ）は、圧縮ファイルとなって記憶デバイス７０３に格納される。

＜動画ファイルのファイルフォーマット例＞
図８は、動画ファイルのファイルフォーマット例を示す説明図である。図８では、たとえば、ＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）に準拠するファイルフォーマットを適用した場合を例に挙げて説明する。

圧縮ファイル８００は、ボックスと呼ばれるデータの集合であり、ヘッダ部８０１とデータ部８０２とを有する。ヘッダ部８０１は、ボックスとして、ｆｔｙｐ８１１と、ｕｕｉｄ８１２と、ｍｏｏｖ８１３と、を含む。データ部８０２は、ボックスとして、ｍｄａｔ８２０を含む。

ｆｔｙｐ８１１は、圧縮ファイル８００の種別を示す情報を格納するボックスであり、圧縮ファイル８００内で他のボックスよりも前の位置に配置される。ｕｕｉｄ８１２は、汎用固有識別子を格納するボックスであり、ユーザが拡張可能である。

ｍｏｏｖ８１３は、動画、音声、テキストといった各種メディアに関するメタデータを格納するボックスである。ｍｄａｔ８２０は、動画、音声、テキストといった各種メディアのデータを格納するボックスである。ｍｏｏｖ８１３は、ｕｕｉｄと、ｕｄｔａと、ｍｖｈｄと、ｔｒａｋと、を有するが、ここでは、実施例１で格納されるデータに着目して説明する。

つぎに、ｍｏｏｖ８１３内のボックスについて具体的に説明する。ｍｏｏｖ８１３は、画像処理情報８３０を格納する。画像処理情報８３０は、フレーム番号８３１と、処理対象画像領域８３２と、処理対象撮像条件８３３と、処理内容８３４と、を関連付けた情報である。フレーム番号８３１は、フレームＦを一意に特定する識別情報である。図８では、便宜上、フレームの符号Ｆｉをフレーム番号８３１として用いる。

処理対象画像領域８３２は、画像処理部７０１の処理対象となる画像領域を特定する識別情報である。処理対象撮像条件８３３は、処理対象画像領域８３２の出力元となる撮像領域に設定された撮像条件である。処理内容８３４は、処理対象画像領域８３２に施された画像処理の内容である。

画像処理情報８３０の１行目のエントリは、フレームＦｉの画像領域Ｂ２１、Ｂ３１がＩＳＯ感度１００で撮像された第１画像領域であり、第２画像処理が施されて露出が１段上がった（＋１．０ＥＶ）画像になったことを示す。画像処理情報８３０の２行目のエントリは、フレームＦｉの画像領域Ｂ２２、Ｂ３２がＩＳＯ感度２００で撮像された第２画像領域であり、第１画像処理が施されて露出が１段下がった（－１．０ＥＶ）画像になったことを示す。

ｍｄａｔ８２０は、メディア（動画、音声、テキスト）ごとのチャンクを格納するボックスである。１つのチャンクは、複数のサンプルで構成される。メディアの種類が動画である場合、１つのサンプルは、１つの圧縮フレームとなる。

＜伸張例＞
図９は、実施例１にかかる伸張例を示す説明図である。電子機器５００の制御部５０２は、伸張部９０１と、画像処理部７０１と、再生部９０２と、を含む。伸張部９０１は、記憶デバイス７０３に記憶されている圧縮ファイル８００を伸張し、一連のフレームＦを画像処理部７０１に出力する。画像処理部７０１は、図７に示した画像処理で補正した画像領域については元に復元した上で、一連のフレームＦを再生部９０２に出力する。再生部９０２は、画像処理部７０１からの一連のフレームＦを再生する。

（Ｃ）は、伸張後のフレームＦｉ－１，Ｆｉを示す。伸張後のフレームＦｉ－１，Ｆｉは、図７（Ｂ）の画像処理後のフレームＦｉ－１，Ｆｉと同じフレームである。（Ｄ）は、伸張後のフレームＦｉの画像処理例を示す。画像処理部７０１は、図８に示した画像処理情報８３０を参照して、第１画像処理または第２画像処理を実行する。

たとえば、図８に示した処理対象画像領域８３２が「Ｂ２１、Ｂ３１」については、処理内容８３４として「＋１．０ＥＶ」の第２画像処理が施されている。したがって、画像処理部７０１は、画像領域Ｂ２１、Ｂ３１の画像データの露出を１段下げる第１画像処理（－１．０ＥＶ）を実行する。

また、処理対象画像領域８３２が「Ｂ２２、Ｂ３２」については、処理内容８３４として「－１．０ＥＶ」の第１画像処理が施されている。したがって、画像処理部７０１は、画像領域Ｂ２２、Ｂ３２の画像データの露出を１段上げる第２画像処理（＋１．０ＥＶ）を実行する。これにより、画像処理されたフレームＦを元の状態に復元することができ、元のフレームＦの再現性の向上を図ることができる。なお、上記説明では、圧縮の際に画像処理（補正）をした箇所を元に戻す画像処理をする例を説明したが、本来、特定被写体７００がいる画像領域は、ＩＳＯ感度２００で撮影される領域のため、第１画像処理をしなくてもよい。いずれの画像処理を実行可能にするかは、ユーザが選択できる構成としてもよい。

＜制御部５０２の構成例＞
図１０は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部１０１０と、画像処理部７０１と、圧縮部７０２と、生成部１０１３と、伸張部９０１と、再生部９０２と、を有し、プロセッサ１００１、記憶デバイス７０３、集積回路１００２、およびこれらを接続するバス１００３により構成される。なお、記憶デバイス７０３、伸張部９０１、および再生部９０２は、電子機器５００とアクセス可能な他の装置に実装されていてもよい。

前処理部１０１０、画像処理部７０１、圧縮部７０２、生成部１０１３、伸張部９０１、および再生部９０２は、記憶デバイス７０３に記憶されたプログラムをプロセッサ１００１に実行させることにより実現してもよく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの集積回路１００２により実現してもよい。また、プロセッサ１００１は、記憶デバイス７０３をワークエリアとして利用してもよい。また、集積回路１００２は、記憶デバイス７０３を、画像データを含む各種データを一時的に保持するバッファとして利用してもよい。

なお、少なくとも圧縮部７０２を含む装置は、動画圧縮装置となる。また、少なくとも伸張部９０１を含む装置は、伸張装置となる。また、少なくとも再生部９０２を含む装置は、再生装置となる。

前処理部１０１０は、撮像素子１００からの一連のフレームＦについて圧縮ファイル８００の生成の前処理を実行する。具体的には、たとえば、前処理部１０１０は、検出部１０１１と設定部１０１２とを有する。検出部１０１１は、上述した周知の被写体検出技術により、特定被写体７００を検出する。検出部１０１１は、特定被写体７００の検出結果に基づいて、次のフレームでの特定被写体７００の位置、すなわち、次のフレームで特定被写体７００が存在するであろう第２撮像領域を予測する。第２撮像領域が予測されることで、対応する第２画像領域も予測されることになる。また、検出部１０１１は、たとえば、周知のテンプレートマッチング技術を用いて、特定被写体７００を継続的に検出（追尾）する。

設定部１０１２は、撮像素子１００の撮像面２００のうち、特定被写体７００が検出された画像領域が第１画像領域であれば、その第１画像領域に対応する第１撮像領域の撮像条件を第１撮像条件（ＩＳＯ感度１００）から第２撮像条件（ＩＳＯ感度２００）に変更する。これにより、特定被写体７００が検出された第１画像領域に対応する第１撮像領域は、第２撮像領域となる。

具体的には、たとえば、検出部１０１１は、入力フレームＦｉで検出された特定被写体７００と先行フレームＦｉ－１で検出された特定被写体７００との差分から特定被写体の動きベクトルを検出して、次の入力フレームＦｉ＋１での特定被写体７００の画像領域を予測する。設定部１０１２は、予測した画像領域に対応する撮像領域について第２撮像条件に変更する。設定部１０１２は、各フレームＦｉ内での特定被写体７００が存在する画像領域、第１撮像条件（ＩＳＯ感度１００）に設定された第１画像領域と第２撮像条件（ＩＳＯ感度２００）に設定された第２画像領域とを示す情報を特定して、付加情報として画像処理部７０１に出力する。

画像処理部７０１は、フレームＦの圧縮前において、図７に示したように第２画像処理を実行し、画像処理情報８３０をｍｏｏｖ８１３に埋め込む。画像処理部７０１は、圧縮フレームＦの伸張後に、伸張されたフレームＦに埋め込まれた画像処理情報８３０を用いて、図９に示したように第１画像処理を実行する。

圧縮部７０２は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、ブロックマッチングを適用することで、画像処理部７０１から出力されるフレームＦを圧縮する。これにより、特定被写体７００が存在する画像領域は、第２画像領域または第２画像処理が施された第１画像領域となるため、特定被写体７００は各フレームＦにおいて同等の明るさとなる。したがって、圧縮部７０２によるブロックマッチングの精度向上を図ることができる。

生成部１０１３は、圧縮部７０２で圧縮された圧縮フレームＦを含む圧縮ファイル８００を生成する。具体的には、たとえば、生成部１０１３は、図８に示したようなファイルフォーマットに従って、圧縮ファイル８００を生成する。生成部１０１３は、生成した圧縮ファイル８００を記憶デバイス７０３に格納する。

伸張部９０１は、記憶デバイス７０３内の圧縮ファイル８００を読み出して、ファイルフォーマットに従って伸張する。すなわち、伸張部９０１は、汎用の伸張処理を実行する。具体的には、たとえば、伸張部９０１は、圧縮ファイル８００内の圧縮フレームＦに可変長復号処理、逆量子化、逆変換を実行し、圧縮フレームＦを元のフレームＦに伸張する。

伸張部９０１は、伸張したフレームＦを画像処理部７０１に出力する。なお、伸張部９０１は、フレームＦのみならず、音声チャンクのサンプルやテキストチャンクのサンプルも同様に伸張する。再生部９０２は、画像処理部７０１から出力される一連のフレームＦ、音声、テキストを含む動画データを再生する。

＜被写体像の探索例＞
図１１は、検出部１０１１による特定被写体の探索例を示す説明図である。ここでは、検出部１０１１の検出の例として、特定被写体を継続的に検出（追尾）する例を説明する。図１１において、符号Ｒ０は、先行フレームＦｉ－１で特定被写体７００が検出された画像領域群である。点線の丸図形が先行フレームＦｉ－１での特定被写体７００を示す。検出部１０１１は、領域Ｒ０を中心とする探索範囲Ｒ１を設定し、テンプレートＴ１を用いて、テンプレートマッチングを実行する。

なお、実施例１では、大きさが異なる複数のテンプレートＴ１～Ｔ３が存在し、Ｔ２が最小でＴ３が最大である。テンプレートＴ１～Ｔ３は、あらかじめ記憶デバイス７０３に記憶されていてもよく、また、検出部１０１１が、先行するフレームＦｉ－１から特定被写体７００を抽出してテンプレートＴ１～Ｔ３を生成してもよい。

検出部１０１１は、テンプレートＴ１との差分が最も小さい領域を特定被写体７００として検出する。ただし、テンプレートＴ１との差分が許容範囲内の特定被写体７００が探索範囲Ｒ１内に存在する場合、検出部１０１１によりは、特定被写体７００を検出結果の信頼性が高いため、特定被写体７００を検出したこととする。

テンプレートＴ１との差分が許容範囲内の特定被写体７００が探索範囲Ｒ１内に存在しない場合、検出結果に信頼性が低い。そのため、検出部１０１１は、探索範囲Ｒ１を拡大して、探索範囲Ｒ２を設定する。検出部１０１１は、探索範囲Ｒ２でテンプレートマッチングを試行する。テンプレートＴ１との差分が許容範囲内の特定被写体７００が探索範囲Ｒ２内に存在する場合、検出部１０１１は、特定被写体７００を検出したことになる。

このように、検出部１０１１は、段階的に探索範囲を拡大して特定被写体７００を検出する。また、探索範囲Ｒ１またはＲ２で特定被写体７００が検出されなかった場合、検出部１０１１は、テンプレートをＴ１からＴ２、Ｔ３に変更してテンプレートマッチングを試行する。これにより、特定被写体の奥行方向の移動にも対応して、特定被写体７００を検出する。

なお、テンプレートをＴ１からＴ２、Ｔ３によるテンプレートマッチングを並行して実行してもよい。具体的には、探索範囲Ｒ１でテンプレートをＴ２→Ｔ１→Ｔ３の順に選択してテンプレートマッチングを実行し、特定被写体７００が検出されないと探索範囲Ｒ２でテンプレートをＴ２→Ｔ１→Ｔ３の順に選択してテンプレートマッチングを実行してもよい。また、テンプレートＴ１からＴ２、Ｔ３の両方を選択して、テンプレートマッチングを同時に実行してもよい。

なお、領域Ｒ０と被写体検出処理で検出された特定被写体７００との距離Ｄが所定距離以上であれば、探索失敗とみなし、その探索範囲内では特定被写体７００が検出されなかったこととしてもよい。また、テンプレートＴ１で特定被写体７００が検出されなかった場合は、他のテンプレートＴ２、Ｔ３の試行をしなくてもよい。

また、検出部１０１１は、探索範囲を可能な限り拡大して、テンプレートマッチングを実行してもよい。また、検出部１０１１は、複数のテンプレートを用いてテンプレートマッチングを実行する。これにより、予測された第２画像領域（図７（Ａ）のＢ２２，Ｂ３２）から外れて第１画像領域（図７（Ａ）のＢ２１，Ｂ３１）に存在する特定被写体７００を検出することができる。換言すれば、第２画像領域の予測が正しければ、撮像素子１００において動的に第２撮像領域が設定されるため、特定被写体７００は、動的に設定された第２撮像領域に対応する第２画像領域（図７（Ａ）のＢ２２，Ｂ３２）内に存在することになる。

＜制御部５０２の動作処理手順例＞
図１２は、制御部５０２の動作処理手順例を示すシーケンス図である。前処理部１０１０は、たとえば、ユーザが操作部５０５を操作することにより、または、ステップＳ１２１４の特定被写体７００の非検出の場合（ステップＳ１２１４：Ｙｅｓ）は自動で、撮像素子１００の撮像面２００全域の撮像条件を第１撮像条件（ＩＳＯ感度１００）に設定する（ステップＳ１２０１）。

また、前処理部１０１０は、ステップＳ１２０１において、変更される場合の第２撮像条件（ＩＳＯ感度２００）も設定する。前処理部１０１０は、ステップＳ１２０１で設定した第１撮像条件および第２撮像条件を、画像処理部７０１に通知する（ステップＳ１２０２）。これにより、画像処理部７０１は、第１画像処理および第２画像処理の処理内容８３４を設定する（ステップＳ１２０３）。

実施例１では、第１撮像条件がＩＳＯ感度１００、第２撮像条件がＩＳＯ感度２００である。したがって、画像処理部７０１は、第２画像処理として、『特定被写体７００が撮像された第１撮像領域のＩＳＯ感度が１００である場合に、対応する第１画像領域の画像データの露出を１段上げる（＋１．０ＥＶ）』という補正をおこなう。同様に、画像処理部７０１は、第１画像処理として、『特定被写体７００が存在するであろうと予測された第２撮像領域のＩＳＯ感度が２００である場合に、対応する第２画像領域の画像データの露出を１段下げる（－１．０ＥＶ）』という補正をおこなう。

これにより、撮像素子１００では、撮像面２００全域の撮像条件が第１撮像条件に設定され、撮像素子１００は、被写体を第１撮像条件で撮像して、一連のフレームＦを含む動画データ１２０１を前処理部１０１０に出力する（ステップＳ１２０５）。

前処理部１０１０は、動画データ１２０１が入力されると（ステップＳ１２０５）、設定処理を実行する（ステップＳ１２０６）。設定処理（ステップＳ１２０６）では、特定被写体７００の検出、次のフレームＦｉ＋１での第２画像領域の予測、入力フレームＦｉ内での第１画像領域および第２画像領域の特定が実行される。設定処理（ステップＳ１２０６）の詳細については、図１３で後述する。

各フレームＦｉ内での特定被写体７００が存在する画像領域、第１画像領域および第２画像領域を特定する付加情報とともに、前処理部１０１０は、動画データ１２０１を画像処理部７０１に出力する（ステップＳ１２０７）。本例では、動画データ１２０１は、特定被写体７００が検出されていないものとする。

また、前処理部１０１０は、設定処理（ステップＳ１２０６）で次の入力フレームＦｉ＋１の第２画像領域が予測されなかった場合（ステップＳ１２０８：Ｎｏ）、ステップＳ１２０５の動画データ１２０１の入力を待ち受ける。一方、前処理部１０１０は、設定処理（ステップＳ１２０６）で次の入力フレームＦｉ＋１の特定被写体７００の位置が予測された場合（ステップＳ１２０８：Ｙｅｓ）、特定被写体７００を含む画像領域が第１撮像条件（ＩＳＯ感度１００）であれば、対応する撮像領域を第２撮像条件（ＩＳＯ感度２００）に設定変更する（ステップＳ１２０９）。

これにより、撮像素子１００では、撮像面２００全域のうち設定処理（ステップＳ１２０６）で予測された画像領域に対応する撮像領域の撮像条件が第２撮像条件に設定される。そして、撮像素子１００は、第１撮像領域では第１撮像条件で被写体を撮像し、第２撮像領域では第２撮像条件で被写体を撮像して、動画データ１２０２を前処理部１０１０に出力する（ステップＳ１２１１）。

前処理部１０１０は、動画データ１２０２が入力されると（ステップＳ１２１１）、設定処理を実行する（ステップＳ１２１２）。ステップＳ１２１２の設定処理は、ステップＳ１２０６の設定処理と同一処理である。設定処理（ステップＳ１２１２）の詳細については、図１３で後述する。各フレームＦｉ内での特定被写体７００が存在する画像領域、第１画像領域および第２画像領域を特定する付加情報とともに、前処理部１０１０は、動画データ１２０２を画像処理部７０１に出力する（ステップＳ１２１３）。実施例１の動画データ１２０２では、特定被写体７００が検出されたものとする。

前処理部１０１０は、特定被写体７００が非検出になった場合（ステップＳ１２１４：Ｙｅｓ）、ステップＳ１２０１に戻り、撮像面２００全域を第１撮像条件に設定変更する（ステップＳ１２０１）。一方、特定被写体７００が検出され続けている場合（ステップＳ１２１４：Ｎｏ）、ステップＳ１２０９に戻る。なお、この場合、特定被写体７００が検出されなくなった画像領域に対応する撮像領域については、前処理部１０１０は、ステップＳ１２０９で第１撮像条件に設定変更する（ステップＳ１２０９）。

また、画像処理部７０１は、動画データ１２０１が入力されると（ステップＳ１２０７）、付加情報を参照して画像処理を実行する（ステップＳ１２１５）。画像処理（ステップＳ１２１５）の詳細については、図１５で後述する。なお、動画データ１２０１では特定被写体７００が検出されていないため、画像処理部７０１は、動画データ１２０１の各フレームＦについて、上述した第２画像処理を実行せずに、圧縮部７０２に出力する（ステップＳ１２１６）。

また、画像処理部７０１は、動画データ１２０２が入力されると（ステップＳ１２１３）、付加情報を参照して画像処理を実行する（ステップＳ１２１７）。なお、ステップＳ１２１７の画像処理では、画像処理部７０１は、特定被写体７００が存在する画像領域の画像データについて第２画像処理を実行する。ステップＳ１２１７の画像処理の詳細については、図１５で後述する。画像処理部７０１は、動画データ１２０２について第２画像処理が施された動画データ１２０３を圧縮部７０２に出力する（ステップＳ１２１８）。

圧縮部７０２は、動画データ１２０１が入力されると（ステップＳ１２１６）、動画データ１２０１の圧縮処理を実行する（ステップＳ１２１９）。また、圧縮部７０２は、動画データ１２０３が入力されると（ステップＳ１２１８）、動画データ１２０３の圧縮処理を実行する（ステップＳ１２２０）。動画データ１２０３では、特定被写体７００は先行フレームＦｉ－１で予測された第２画像領域または第２画像処理が施された第１画像領域に存在するため、特定被写体７００はどのフレームＦでも同等の明るさを維持する。したがって、圧縮部７０２におけるブロックマッチングの精度向上を図ることができる。

＜設定処理（ステップＳ１２０６、Ｓ１２１２）＞
図１３は、図１２に示した設定処理（ステップＳ１２０６、Ｓ１２１２）の詳細な処理手順例を示すフローチャートである。前処理部１０１０は、フレームＦｉの入力を待ち受け（ステップＳ１３０１）、フレームＦｉが入力された場合（ステップＳ１３０１：Ｙｅｓ）、検出部１０１１により、特定被写体検出処理を実行する（ステップＳ１３０２）。特定被写体検出処理（ステップＳ１３０２）は、フレームＦ内で特定被写体７００を検出する処理である。特定被写体検出処理（ステップＳ１３０２）の詳細は、図１４で後述する。

前処理部１０１０は、検出部１０１１により特定被写体７００が検出されたか否かを判断する（ステップＳ１３０３）。特定被写体７００が検出されなかった場合（ステップＳ１３０３：Ｎｏ）、ステップＳ１３０５に移行する。一方、特定被写体７００が検出された場合（ステップＳ１３０３：Ｙｅｓ）、前処理部１０１０は、検出部１０１１により、１つ前のフレームＦｉ－１で検出された特定被写体７００と今回検出された特定被写体７００との位置により、動きベクトルを検出し、動きベクトルの大きさおよび方向に基づいて次のフレームＦｉ＋１で特定被写体７００が検出されるであろう第２画像領域を予測する（ステップＳ１３０４）。

そして、前処理部１０１０は、設定部１０１２により、入力フレームＦｉの特定被写体７００が存在する画像領域、第１画像領域および第２画像領域（フレームＦｉ－１で予測）を特定し、フレームＦｉの付加情報として保持して（ステップＳ１３０５）、ステップＳ１３０１に戻る。付加情報は、動画データとともに画像処理部７０１に送られる。フレームＦｉの入力がない場合（ステップＳ１３０１：Ｎｏ）、前処理部１０１０は、設定処理を終了する。

これにより、撮像素子１００に最新の第２撮像領域を設定することができ、被写体の移動先を第２画像領域で撮像することができる。また、フレームＦｉにおいて第２画像領域から外れた特定被写体７００を特定することができる。

＜特定被写体検出処理（ステップＳ１３０２）＞
図１４は、図１３に示した特定被写体検出処理（ステップＳ１３０２）の詳細な処理手順例を示すフローチャートである。ここでは、探索範囲をＲｉ（ｉは１以上の整数）とする。ｉが大きいほど探索範囲Ｒｉが拡大する。検出部１０１１は、探索範囲ＲｉをＲ１に設定し（ステップＳ１４０１）、デフォルトのテンプレートＴｊを用いて、探索範囲Ｒｉ内でテンプレートマッチングを実行する（ステップＳ１４０２）。そして、検出部１０１１は、特定被写体７００が検出されたか否かを判断する（ステップＳ１４０３）。

特定被写体７００が検出された場合（ステップＳ１４０３：Ｙｅｓ）、検出部１０１１は、特定被写体検出処理（ステップＳ１３０２）を終了する。この場合、図１３のステップＳ１３０３で特定被写体７００が検出されたと判断される（ステップＳ１３０３：Ｙｅｓ）。

一方、特定被写体７００が検出されなかった場合（ステップＳ１４０３：Ｎｏ）、検出部１０１１は、探索範囲Ｒｉの拡大が可能であるか否かを判断する（ステップＳ１４０４）。たとえば、拡大後の拡大範囲Ｒｉ＋１があらかじめ設定された最大範囲やフレームの範囲を超える場合に拡大不可能と判断される。探索範囲Ｒｉの拡大が可能である場合（ステップＳ１４０４：Ｙｅｓ）、検出部１０１１は、ｉをインクリメントして探索範囲Ｒｉを拡大し（たとえば、ｉ＝１の場合、探索範囲Ｒ１を探索範囲Ｒ２に拡大）して（ステップＳ１４０５）、ステップＳ１４０２に移行し、探索範囲Ｒｉでテンプレートマッチング（ステップＳ１４０２）を再試行する。

一方、探索範囲Ｒｉを拡大できない場合（ステップＳ１４０４：Ｎｏ）、検出部１０１１は、代替テンプレートが使用可能であるか否かを判断する（ステップＳ１４０６）。たとえば、代替テンプレートとは、他の未使用のテンプレートである。たとえば、使用済みのテンプレートがＴ１、使用中のテンプレートがＴ２、未使用のテンプレートがＴ３の場合、代替テンプレートはＴ３となる。なお、どの代替テンプレートが使用可能であるか否かは、あらかじめ設定される。

代替テンプレートが使用不可能である場合（ステップＳ１４０６：Ｎｏ）、検出部１０１１は、特定被写体検出処理（ステップＳ１３０２）を終了する。この場合、図１３のステップＳ１３０３で特定被写体７００が検出されなかったと判断される（ステップＳ１３０３：Ｎｏ）。

一方、代替テンプレートが使用可能である場合（ステップＳ１４０６：Ｙｅｓ）、検出部１０１１は、探索範囲をステップＳ１４０１で設定した情報に戻し、代替テンプレートに変更して（ステップＳ１４０７）、ステップＳ１４０２に戻る。このようにして、フレームＦごとに特定被写体７００の検出が試行されることになる。

＜画像処理（ステップＳ１２１５、Ｓ１２１７）＞
図１５は、図１２に示した画像処理（ステップＳ１２１５、Ｓ１２１７）の詳細な処理手順例を示すフローチャートである。画像処理部７０１は、動画データ１２０１，１２０３のフレームＦｉの入力を受け付け（ステップＳ１５０１）、入力フレームＦｉの付加情報から、入力フレームＦｉについて特定被写体７００が検出されたか否かを判断する（ステップＳ１５０２）。特定被写体７００が検出されなかった場合（ステップＳ１５０２：Ｎｏ）、画像処理部７０１は、第１画像処理および第２画像処理を実行することなく、画像処理（ステップＳ１２１５、Ｓ１２１７）を終了する。

一方、特定被写体７００が検出された場合（ステップＳ１５０２：Ｙｅｓ）、画像処理部７０１は、特定被写体７００の画像データを含む画像領域が第１画像領域を含むか否かを判断する（ステップＳ１５０３）。特定被写体７００の画像データを含む画像領域がすべて第１画像領域の場合（ケース１）と、特定被写体７００の画像データを含む画像領域がすべて第２画像領域の場合（ケース２）と、特定被写体７００の画像データを含む画像領域が第１画像領域および第２画像領域の両方の場合（ケース３）と、がある。

ケース１であれば、ステップＳ１５０３：Ｙｅｓとなり、ケース２であれば、ステップＳ１５０３：Ｎｏとなる。ケース３の場合、第１画像領域と第２画像領域のうち第１画像領域の方が大きければ、ステップＳ１５０３：Ｙｅｓとしてもよい。また、第１画像領域が１つでも存在すれば、ステップＳ１５０３：Ｙｅｓとしてもよい。ステップＳ１５０３：Ｎｏの場合、画像処理部７０１は、第１画像処理および第２画像処理を実行することなく、画像処理（ステップＳ１２１５、Ｓ１２１７）を終了する。

一方、ステップＳ１５０３：Ｙｅｓの場合、画像処理部７０１は、付加情報を用いて、図８に示した画像処理情報８３０を生成する（ステップＳ１５０４）。そして、画像処理部７０１は、図７に示した第１画像処理および第２画像処理を実行する（ステップＳ１５０５）。具体的には、たとえば、画像処理部７０１は、特定被写体７００の画像データが第１画像領域に存在すれば、当該第１画像領域について第２画像処理を実行し、先行フレームＦｉ－１で予測された第２画像領域に特定被写体７００の画像データが存在していなければ、当該第２画像領域について第１画像処理を実行する。これにより、画像処理部７０１は、画像処理（ステップＳ１２１５、Ｓ１２１７）を終了する。

＜再生処理＞
図１６は、動画データの再生処理の詳細な処理手順例を示すフローチャートである。伸張部９０１は、記憶デバイス７０３から、操作部５０５で選択された再生対象となる圧縮ファイル８００を読み出して伸張し、伸張した一連のフレームＦを画像処理部７０１に出力する（ステップＳ１６０１）。画像処理部７０１は、入力された一連のフレームＦの先頭から未選択フレームＦｉを選択する（ステップＳ１６０２）。

そして、画像処理部７０１は、選択したフレームＦｉについて画像処理情報８３０があるか否かを判断する（ステップＳ１６０３）。画像処理情報８３０がない場合（ステップＳ１６０３：Ｎｏ）、ステップＳ１６０５に移行する。一方、選択したフレームＦｉについて画像処理情報８３０がある場合（ステップＳ１６０３：Ｙｅｓ）、画像処理部７０１は、選択したフレームＦｉについて、画像処理情報８３０の処理対象画像領域８３２および処理内容８３４を特定し、画像処理情報８３０の処理内容８３４とは逆の画像処理を、処理対象画像領域８３２に対して実行する（ステップＳ１６０４）。

逆の画像処理とは、圧縮前段階で第１画像処理が施されていれば第２画像処理、圧縮前段階で第２画像処理が施されていれば第１画像処理である。たとえば、処理内容８３４が「＋１．０ＥＶ」であれば、画像処理部７０１は、逆の画像処理として「－１．０ＥＶ」の補正を実行し、処理内容８３４が「－１．０ＥＶ」であれば、画像処理部７０１は、逆の画像処理として「＋１．０ＥＶ」の補正を実行する。

このあと、画像処理部７０１は、未選択フレームＦがあるか否かを判断し（ステップＳ１６０５）、未選択フレームＦがある場合（ステップＳ１６０５：Ｙｅｓ）、ステップＳ１６０２に戻り、画像処理部７０１は、未選択フレームＦを再選択する（ステップＳ１６０２）。一方、未選択フレームＦがない場合（ステップＳ１６０５：Ｎｏ）、画像処理部７０１は、一連のフレームＦを再生部９０２に出力し、再生部９０２は、動画データとして再生する（ステップＳ１６０６）。これにより、再生処理が終了する。

このように、実施例１によれば、検出部１０１１により、先行フレームＦｉ－１で予測されたフレームＦｉの第２画像領域に特定被写体７００が検出されていれば、特定被写体は、第２撮像領域で撮像されていることになる。したがって、フレームＦｉ－１，Ｆｉ間で特定被写体７００の明るさが同等となり、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

また、画像処理部７０１は、特定被写体７００が、先行フレームＦｉ－１で予測されたフレームＦｉの第２画像領域ではなく、第１画像領域で検出された場合、特定被写体７００の位置予測が外れたことになる。この場合でも、画像処理部７０１は、特定被写体７００の画像データが存在する当該第１画像領域について第２画像処理を実行する。これにより、特定被写体７００の位置予測が当たった場合と同様、フレームＦｉ－１，Ｆｉ間で特定被写体７００の画像データの明るさが同等となり、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

また、特定被写体７００の位置予測が外れた場合、画像処理部７０１は、当該第２画像領域について第１画像処理を実行する。これにより、予測元となるフレームＦｉ－１の第１画像領域の画像データと、予測先となるフレームＦｉの第１画像処理が施された第２画像領域の画像データとは、同等の明るさとなり、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

実施例２は、特定被写体検出処理（ステップＳ１３０２）の他の例を示す。実施例２では、一般的な特定被写体検出処理（ステップＳ１３０２）を例に挙げて説明したが、実施例２では、画像処理部７０１は、特定被写体検出処理（ステップＳ１３０２）の実行中に、第２画像処理を実行する。

これにより、テンプレートマッチングの精度向上を図ることができる。なお、実施例２では、テンプレートＴ１～Ｔ３は、第２画像領域から抽出された特定被写体７００から生成されたテンプレート、または、それと同等の明るさであらかじめ用意されたテンプレートとする。

以下、実施例２について説明するが、実施例２では、実施例１との相違点についてのみ説明し、実施例１と共通部分については、実施例１と同一符号および同一ステップ番号を用いて説明を省略する。

＜特定被写体検出処理（ステップＳ１３０２）＞
図１７は、実施例２にかかる、図１３に示した特定被写体検出処理（ステップＳ１３０２）の詳細な処理手順例を示すフローチャートである。探索範囲の拡大（ステップＳ１４０５）後、検出部１０１１は、画像処理部７０１により、探索範囲の第１画像領域について第２画像処理を実行して（ステップＳ１７０５）、テンプレートマッチングを試行する（ステップＳ１４０２）。

これにより、探索範囲とテンプレートＴ１～Ｔ３の明るさが同等となり、テンプレートマッチングでのマッチング精度の向上を図ることができる。このようにして、実施例２では、フレームＦごとに特定被写体７００の検出が高精度に試行されることになる。

実施例３は、撮像面２００においてあらかじめ第１撮像領域および第２撮像領域が固定された場合の動画圧縮伸張例である。ただし、第１撮像領域および第２撮像領域が固定されていても、設定処理（ステップＳ１２０６、Ｓ１２１２）において、次のフレームＦｉ＋１での特定被写体７００の画像の位置の画像領域に対応する撮像領域が第１撮像領域であれば、当該第１撮像領域は、前処理部１０１０により第２撮像領域に設定される。たとえば、フレームＦｉの第２画像領域に特定被写体７００が存在し、次のフレームＦｉ＋１で特定被写体７００が第１画像領域に移った場合、当該特定被写体７００が存在する第１撮像領域は、前処理部１０１０により第２撮像領域に設定される。

これにより、固定の第２撮像領域に対応する第２画像領域では、第２撮像条件（ＩＳＯ感度２００）で撮像されて生成された特定被写体７００の画像データが得られる。そして、特定被写体７００が固定の第１撮像領域に移動して、第１撮像領域側で撮像されたとしても、動的に設定された第２撮像領域において第２撮像条件（ＩＳＯ感度２００）で撮像される。これにより、連続するフレームＦｉ－１，Ｆｉ間で第２画像領域に存在する特定被写体７００の画像データのブロックマッチング精度の向上を図ることができる。

また、予測された次フレームＦｉ＋１の第２画像領域に対応する第１撮像領域が前処理部１０１０により第２撮像領域に設定された場合に、特定被写体７００の位置予測が外れて特定被写体７００の画像データが第１画像領域に存在する場合がある。この場合であっても、画像処理部７０１が、当該第１画像領域について第２画像処理を実行し、特定被写体７００の画像データが存在しないと予測された第２画像領域について第１画像処理を実行する。

これにより、連続するフレームＦｉ－１，Ｆｉ間で第２画像領域に存在する特定被写体７００の画像データと第２画像処理が施された第１画像領域に存在する特定被写体７００の画像データとのブロックマッチング精度の向上を図ることができる。

なお、実施例３では、撮像面２００において第１撮像領域と第２撮像領域の位置や割合は任意に設定される。また、実施例３では、説明の便宜上、第１撮像条件が設定された第１撮像領域および第２撮像条件が設定された第２撮像領域により説明するが、設定される撮像条件および撮像領域は３以上でもよい。

以下、実施例３について説明するが、実施例３では、実施例１，２との相違点についてのみ説明し、実施例１，２と共通部分については、実施例１，２と同一符号および同一ステップ番号を用いて説明を省略する。

＜動画圧縮例＞
図１８は、実施例３にかかる動画圧縮例を示す説明図である。この動画圧縮例では、撮像面２００の左半分の撮像領域が第１撮像領域に設定され、右半分の撮像領域が第２撮像領域に設定された場合の動画圧縮例である。したがって、生成されたフレームＦでは、画像領域Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２、Ｂ４１、Ｂ４２が固定の第１撮像領域から出力された第１画像領域となり、画像領域Ｂ１３、Ｂ１４、Ｂ２３、Ｂ２４、Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４が固定の第２撮像領域から出力された第２画像領域となる。

（Ａ）特定被写体７００の検出により、フレームＦｉ‐１では、特定被写体７００は、右下の２×２の第２画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４に存在する。第２画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４は、第２撮像条件（ＩＳＯ感度２００）に設定された固定の第２撮像領域に対応する第２画像領域である。

フレームＦｉでは、特定被写体７００は、中央左端の第１画像領域Ｂ２１、Ｂ３１に存在する。第１画像領域Ｂ２１、Ｂ３１は、第１撮像条件（ＩＳＯ感度１００）に設定された固定の第１撮像領域に対応する第１画像領域である。また、中央左側の第２画像領域Ｂ２２、Ｂ３２は、先行フレームＦｉ－１で特定被写体７００の位置が予測された第２画像領域である。

（Ｂ）画像処理により、実施例１で説明したように、フレームＦｉの第１画像領域Ｂ２１、Ｂ３１については、第２画像処理が施され、第２画像領域Ｂ２２、Ｂ３２については、第１画像処理が施される。これにより、フレームＦｉ－１での特定被写体７００が存在する第２画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４と、フレームＦｉでの特定被写体７００が存在する第２画像処理が施された第１画像領域Ｂ２１、Ｂ３１との間の明るさが同等となり、圧縮部７０２におけるブロックマッチング精度が向上する。

同様に、フレームＦｉ－１での特定被写体７００が存在しない第１画像領域Ｂ２２、Ｂ３２と、フレームＦｉでの特定被写体７００が存在しない第１画像処理が施された第２画像領域Ｂ２２、Ｂ３２との間の明るさが同等となり、圧縮部７０２におけるブロックマッチング精度が向上する。

＜伸張例＞
図１９は、実施例３にかかる伸張例を示す説明図である。この伸張例は、図１８の動画圧縮例に対応する伸張例である。（Ｃ）は、伸張後のフレームＦｉ－１，Ｆｉを示す。伸張後のフレームＦｉ－１，Ｆｉは、図１８（Ｂ）の画像処理後のフレームＦｉ－１，Ｆｉと同じフレームである。（Ｄ）は、伸張後のフレームＦｉの画像処理例を示す。画像処理部７０１は、図８に示した画像処理情報８３０を参照して、第１画像処理および第２画像処理を実行する。

図１９の例では、実施例１で示した場合と同様、画像処理部７０１は、第２画像処理が施された第１画像領域Ｂ２１、Ｂ３１について第１画像処理を実行し、第１画像処理が施された第２画像領域Ｂ２２、Ｂ３２について第２画像処理を実行する。これにより、（Ｄ）のフレームＦｉは、図１８（Ａ）のフレームＦｉに復元される。

このように、あらかじめ固定化された複数の撮像領域が存在する場合であっても、実施例１，２と同様に圧縮部７０２におけるブロックマッチングの高精度化を図ることができる。また、元の状態に復元することで、元のフレームＦの再現性の向上を図ることができる。

実施例４は、実施例３と同様、撮像面２００においてあらかじめ第１撮像領域および第２撮像領域が固定された場合の動画圧縮伸張例である。ただし、実施例４では、第２画像領域の予測による第２撮像領域の設定は実行されない。

以下、実施例４について説明するが、実施例４では、実施例３との相違点についてのみ説明し、実施例３と共通部分については、実施例３と同一符号および同一ステップ番号を用いて説明を省略する。

＜動画圧縮例＞
図２０は、実施例４にかかる動画圧縮例を示す説明図である。実施例３との相違は、（Ａ）画像領域Ｂ２２、Ｂ３２が、先行フレームＦｉ－１で予測された第２画像領域として予測されず、固定の第１撮像領域に対応する第１画像領域であるという点である。したがって、（Ｂ）画像処理においても、フレームＦｉの第１画像領域Ｂ２１、Ｂ３１については、第２画像処理が施されるが、画像領域Ｂ２２、Ｂ３２については、第１画像領域であるため、第１画像処理が施されない。

これにより、フレームＦｉ－１での特定被写体７００が存在する第２画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４と、フレームＦｉでの特定被写体７００が存在する第２画像処理が施された第１画像領域Ｂ２１、Ｂ３１との間の明るさが同等となり、圧縮部７０２におけるブロックマッチング精度が向上する。

＜伸張例＞
図２１は、実施例４にかかる伸張例を示す説明図である。画像処理部７０１は、第２画像処理が施された第１画像領域Ｂ２１、Ｂ３１について第１画像処理を実行するが、第１画像領域Ｂ２２、Ｂ３２について第２画像処理を実行しない。これにより、（Ｄ）のフレームＦｉは、図２０（Ａ）のフレームＦｉのように復元される。

なお、上記説明では、圧縮の際に画像処理（補正）をした箇所を伸張後に元に戻す画像処理をする例を説明したが、本来、特定被写体７００がいる画像領域は、ＩＳＯ感度２００で撮影される領域のため、第１画像処理をしなくてもよい。いずれの画像処理を実行可能にするかは、ユーザが選択できる構成としてもよい。

このように、あらかじめ固定化された複数の撮像領域が存在し、かつ、特定被写体検出により第１画像領域で特定被写体７００が検出された場合でも、実施例３と同様に圧縮部７０２におけるブロックマッチングの高精度化を図ることができる。また、元の状態に復元することで、元のフレームＦの再現性の向上を図ることができる。

また、第２画像領域の予測による第２撮像領域の設定は実行されないため、圧縮前における当該第２画像領域についての第１画像処理や伸張後における第２画像処理が不要となり、電子機器５００の処理負荷低減を図ることができる。

実施例５は、実施例４と同様、撮像面２００においてあらかじめ第１撮像領域および第２撮像領域が固定された場合の動画圧縮伸張例であり、第２画像領域の予測による第２撮像領域の設定は実行されない。

ただし、第１画像領域で特定被写体７００が検出された場合、実施例４のように特定被写体７００が存在する第１画像領域のみ第２画像処理を実行するのではなく、固定の第１撮像領域全域について第２画像処理を実行する。これにより、特定被写体７００が存在する第１画像領域の特定が不要となり、前処理効率の向上を図ることができる。

以下、実施例５について説明するが、実施例５では、実施例４との相違点についてのみ説明し、実施例４と共通部分については、実施例４と同一符号および同一ステップ番号を用いて説明を省略する。

＜動画圧縮例＞
図２２は、実施例５にかかる動画圧縮例を示す説明図である。実施例５との相違は、（Ａ）フレームＦｉにおいて、第１画像領域Ｂ２１、Ｂ３１で特定被写体７００が検出された場合、画像処理部７０１が、当該第１画像領域Ｂ２１、Ｂ３１のみについて第２画像処理を実行するのではなく、固定の第１撮像領域に対応する全第１画像領域Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２、Ｂ４１、Ｂ４２について第２画像処理を実行する。

これにより、フレームＦｉ－１で特定被写体７００が検出された第２画像領域Ｂ３３、Ｂ３４、Ｂ４３、Ｂ４４と、第２画像処理が施された第１画像領域Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２、Ｂ４１、Ｂ４２との間のブロックマッチング精度の向上を図ることができる。また、特定被写体７００が存在する第１画像領域の特定が不要となり、前処理効率の向上を図ることができる。

＜伸張例＞
図２３は、実施例５にかかる伸張例を示す説明図である。画像処理部７０１は、第２画像処理が施された第１画像領域Ｂ１１、Ｂ１２、Ｂ２１、Ｂ２２、Ｂ３１、Ｂ３２、Ｂ４１、Ｂ４２について第１画像処理を実行する。これにより、（Ｄ）のフレームＦｉは、図２２（Ａ）のフレームＦｉに復元される。

このように、あらかじめ固定化された複数の撮像領域が存在し、かつ、特定被写体検出により第１画像領域で特定被写体７００が検出された場合でも、実施例４と同様にブロックマッチングの高精度化を図ることができる。また、元の状態に復元することで、元のフレームＦの再現性の向上を図ることができる。

また、第２画像領域の予測による第２撮像領域の設定は実行されないため、圧縮前における当該第２画像領域についての第１画像処理や伸張後における第２画像処理が不要となり、電子機器の処理負荷低減を図ることができる。また、特定被写体７００が存在する第１画像領域の特定が不要となり、前処理効率の向上を図ることができる。

（１）以上説明したように、上述した実施例にかかる動画圧縮装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１撮像条件（たとえば、ＩＳＯ感度１００）を設定可能であり、かつ、第２撮像領域に第１撮像条件とは異なる第２撮像条件（たとえば、ＩＳＯ感度２００）を設定可能な撮像素子１００から出力された複数のフレームＦを圧縮する。

動画圧縮装置は、撮像素子１００による被写体の撮像により第１撮像領域から出力された画像データに第２撮像条件に基づく画像処理を実行する画像処理部７０１と、画像処理部７０１によって画像処理が実行されたフレームＦｉをフレームＦｉと異なるフレームＦｉ－１（他のフレームでもよい）とのブロックマッチングに基づいて圧縮する圧縮部７０２と、を有する。これにより、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（２）また、上記（１）において、画像処理部７０１は、特定被写体７００が第１撮像領域内である場合に、第１撮像領域から出力された第１画像領域内の特定被写体７００の画像データに第２撮像条件に基づく画像処理を実行する。これにより、第１画像領域内の特定被写体７００について、あたかも第２撮像条件で撮像されたかのような画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（３）また、上記（１）において、画像処理部７０１は、特定被写体７００が第１撮像領域内である場合に、第２撮像領域から出力された第２画像領域の画像データについて第１撮像条件に基づく画像処理を実行する。これにより、特定被写体７００が存在しない第２画像領域について、あたかも第１撮像条件で撮像されたかのように画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（４）また、上記（１）において、画像処理部７０１は、特定被写体７００が第２撮像領域内である場合に、第２撮像領域から出力された第２画像領域内の特定被写体７００の画像データについて第２撮像条件に基づく画像処理を実行しない。これにより、第２画像領域内の特定被写体７００についての不要な画像処理を抑制することができ、画像処理の効率化を図ることができる。

（５）上記（１）の動画圧縮装置は、被写体のうち特定被写体７００を検出する検出部を１０１１有し、画像処理部７０１は、検出部１０１１によって検出された特定被写体７００の画像データについて、第２撮像条件に基づく画像処理を実行する。これにより、フレームＦごとに特定被写体７００を追尾することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（６）また、上記（５）において、画像処理部７０１は、検出部１０１１によって、特定被写体７００が第１撮像領域から出力された第１画像領域（たとえば、Ｂ２１、Ｂ３１）内で検出されると、特定被写体７００の画像データについて第２撮像条件に基づく画像処理を実行する。これにより、第１画像領域で検出された特定被写体７００について、あたかも第２撮像条件で撮像されたかのような画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（７）また、上記（６）において、画像処理部７０１は、検出部１０１１によって、特定被写体７００が第１撮像領域から出力された第１画像領域内で検出されると、第２撮像領域から出力された第２画像領域の画像データについて第１撮像条件に基づく画像処理を実行する。これにより、特定被写体７００が検出されなかった第２画像領域について、あたかも第１撮像条件で撮像されたかのように画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（８）また、上記（５）において、画像処理部７０１は、検出部１０１１によって、特定被写体７００が第２撮像領域から出力された第２画像領域内で検出されると、特定被写体７００の画像データについて第２撮像条件に基づく画像処理を実行しない。これにより、第２画像領域で検出された特定被写体７００についての不要な画像処理を抑制することができ、画像処理の効率化を図ることができる。

（９）また、上記（５）において、画像処理部７０１は、検出部１０１１によって、特定被写体７００がフレームＦ内の第１探索範囲Ｒ１内で検出されなかった場合、第１探索範囲Ｒ１の画像データについて第２撮像条件に基づく画像処理を実行し、検出部１０１１は、画像処理部７０１によって画像処理された第１探索範囲Ｒ１内で特定被写体７００の検出を再試行する。これにより、特定被写体の検出効率の向上を図ることができる。

（１０）また、上記（５）において、画像処理部７０１は、検出部１０１１によって、特定被写体７００がフレームＦ内の第１探索範囲Ｒ１内で検出されなかった場合、第１探索範囲Ｒ１を拡大した第２探索範囲Ｒ２の画像データについて第２撮像条件に基づく画像処理を実行し、検出部１０１１は、第２撮像条件に基づく画像処理が実行された第２探索範囲Ｒ２で特定被写体７００の検出を再試行する。これにより、特定被写体の検出効率の向上を図ることができる。

（１１）上記（１）の動画圧縮装置は、フレームＦｉよりも先行する２つのフレームＦｉ－２，Ｆｉ－１において検出された特定被写体７００に基づいて、第２撮像領域を設定する設定部１０１２を有する。これにより、設定された第２撮像領域に対応する第２画像領域を動的に設定することができ、特定被写体７００の位置を予測することができる。

（１２）また、上記（１１）において、画像処理部７０１は、特定被写体７００が設定部１０１２によって設定された第２撮像領域から出力された第２画像領域の外である場合に、特定被写体７００の画像データについて第２撮像条件に基づく画像処理を実行する。これにより、第２画像領域の予測が外れた場合でも、第１画像領域で検出された特定被写体７００について、あたかも第２撮像条件で撮像されたかのような画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（１３）また、上記（１２）において、画像処理部７０１は、特定被写体７００の画像データが設定部１０１２によって設定された第２撮像領域から出力された第２画像領域（たとえば、Ｂ２２、Ｂ３２）外である場合に、第２画像領域の画像データについて第１撮像条件に基づく画像処理を実行する。これにより、設定部１０１２によって設定された第２画像領域の予測が外れた場合であっても、当該第２画像領域について、あたかも第１撮像条件で撮像されたかのように画像処理（補正）を実行することができ、圧縮部７０２におけるブロックマッチング精度の向上を図ることができる。

（１４）また、上記（１１）において、画像処理部７０１は、特定被写体７００の画像データが設定部１０１２によって設定された第２撮像領域から出力された第２画像領域内である場合に、特定被写体７００について第２撮像条件に基づく画像処理を実行しない。これにより、第２画像領域で検出された特定被写体７００についての不要な画像処理を抑制することができ、画像処理の効率化を図ることができる。

（１５）上記（１）の動画圧縮装置は、圧縮部７０２によって圧縮された圧縮フレームと、特定被写体７００の画像データに実行された画像処理に関する情報と、を含む圧縮ファイル８００を生成する生成部１０１３を有する。これにより、フレームＦを伸張した場合に圧縮前の状態に復元することができる。

（１６）上記（１５）において、生成部１０１３によって生成された圧縮ファイル８００内の圧縮フレームをフレームＦに伸張する伸張部９０１を有し、画像処理部７０１は、特定被写体７００の画像データに実行された画像処理に関する情報を用いて、伸張部９０１によって伸張されたフレームＦ内の第２撮像条件に基づく画像処理が実行された特定被写体７００の画像データについて、第２撮像条件から第１撮像条件への変更に基づく画像処理を実行する。これにより、伸張したフレームＦを圧縮前の状態に復元することができる。

１００ 撮像素子、２００ 撮像面、５００ 電子機器、５０２ 制御部、７００ 特定被写体、７０１ 画像処理部、７０２ 圧縮部、７０３ 記憶デバイス、８００ 圧縮ファイル、８３０ 画像処理情報、９０１ 伸張部、９０２ 再生部、１０１０ 前処理部、１０１１ 検出部、１０１２ 設定部、１０１３ 生成部

Claims (22)

1. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、
   前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する画像処理部と、
   前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームとのブロックマッチングに基づいて圧縮する圧縮部と、
   を有する動画圧縮装置。
2. 請求項１に記載の動画圧縮装置において、
   前記画像処理部は、特定被写体が前記第１撮像領域内である場合に、前記第１撮像領域から出力された第１画像領域内の前記特定被写体の画像データに前記第２撮像条件に基づく画像処理を実行する、動画圧縮装置。
3. 請求項１に記載の動画圧縮装置であって、
   前記画像処理部は、特定被写体が前記第１撮像領域内である場合に、前記第２撮像領域から出力された第２画像領域の画像データについて前記第１撮像条件に基づく画像処理を実行する、動画圧縮装置。
4. 請求項１に記載の動画圧縮装置であって、
   前記画像処理部は、特定被写体が前記第２撮像領域内である場合に、前記第２撮像領域から出力された第２画像領域内の前記特定被写体の画像データについて前記第２撮像条件に基づく画像処理を実行しない、動画圧縮装置。
5. 請求項１に記載の動画圧縮装置であって、
   前記被写体のうち特定被写体を検出する検出部を有し、
   前記画像処理部は、前記検出部によって検出された前記特定被写体の画像データについて、前記第２撮像条件に基づく画像処理を実行する、動画圧縮装置。
6. 請求項５に記載の動画圧縮装置であって、
   前記画像処理部は、前記検出部によって、前記特定被写体が前記第１撮像領域から出力された第１画像領域内で検出されると、前記特定被写体の画像データについて前記第２撮像条件に基づく画像処理を実行する、動画圧縮装置。
7. 請求項６に記載の動画圧縮装置であって、
   前記画像処理部は、前記検出部によって、前記特定被写体が前記第１撮像領域から出力された第１画像領域内で検出されると、前記第２撮像領域から出力された第２画像領域の画像データについて前記第１撮像条件に基づく画像処理を実行する、動画圧縮装置。
8. 請求項５に記載の動画圧縮装置であって、
   前記画像処理部は、前記検出部によって、前記特定被写体が前記第２撮像領域から出力された第２画像領域内で検出されると、前記特定被写体の画像データについて前記第２撮像条件に基づく画像処理を実行しない、動画圧縮装置。
9. 請求項５に記載の動画圧縮装置であって、
   前記画像処理部は、前記検出部によって、前記特定被写体が前記フレーム内の第１探索範囲内で検出されなかった場合、前記第１探索範囲内の画像データについて前記第２撮像条件に基づく画像処理を実行し、
   前記検出部は、前記画像処理部によって画像処理された前記第１探索範囲内で前記特定被写体を検出する、動画圧縮装置。
10. 請求項５に記載の動画圧縮装置であって、
    前記画像処理部は、前記検出部によって前記特定被写体が前記フレーム内の第１探索範囲内で検出されなかった場合、前記第１探索範囲を拡大した第２探索範囲の画像データについて前記第２撮像条件に基づく画像処理を実行し、
    前記検出部は、前記第２撮像条件に基づく画像処理が実行された前記第２探索範囲で前記特定被写体を検出する、動画圧縮装置。
11. 請求項１に記載の動画圧縮装置であって、
    前記フレームよりも先行する２つのフレームにおいて検出された特定被写体に基づいて、前記第２撮像領域を設定する設定部を有する、動画圧縮装置。
12. 請求項１１に記載の動画圧縮装置であって、
    前記画像処理部は、前記特定被写体の画像データが前記設定部によって設定された前記第２撮像領域から出力された第２画像領域の外である場合に、前記特定被写体の画像データについて前記第２撮像条件に基づく画像処理を実行する、動画圧縮装置。
13. 請求項１２に記載の動画圧縮装置であって、
    前記画像処理部は、前記特定被写体の画像データが前記設定部によって設定された前記第２撮像領域から出力された第２画像領域の外である場合に、前記第２画像領域の画像データについて前記第１撮像条件に基づく画像処理を実行する、動画圧縮装置。
14. 請求項１１に記載の動画圧縮装置であって、
    前記画像処理部は、前記特定被写体の画像データが前記設定部によって設定された前記第２撮像領域から出力された第２画像領域内である場合に、前記特定被写体の画像データについて前記第２撮像条件に基づく画像処理を実行しない、動画圧縮装置。
15. 請求項１に記載の動画圧縮装置であって、
    前記圧縮部によって圧縮された圧縮フレームと、特定被写体の画像データに実行された画像処理に関する情報と、を含む圧縮ファイルを生成する生成部を有する、動画圧縮装置。
16. 請求項１５に記載の動画圧縮装置であって、
    前記生成部によって生成された圧縮ファイル内の前記圧縮フレームを前記フレームに伸張する伸張部を有し、
    前記画像処理部は、前記特定被写体の画像データに実行された画像処理に関する情報を用いて、前記伸張部によって伸張されたフレーム内の前記第２撮像条件に基づく画像処理が実行された前記特定被写体の画像データについて、前記第２撮像条件と前記第１撮像条件とに基づく画像処理を実行する、動画圧縮装置。
17. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮する動画圧縮装置であって、
    前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する画像処理部と、
    前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮する圧縮部と、
    を有する動画圧縮装置。
18. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮した圧縮ファイルを伸張する伸張装置であって、
    前記圧縮ファイル内の圧縮フレームを前記フレームに伸張する伸張部と、
    前記伸張部によって伸張されたフレーム内の前記第２撮像条件に基づく画像処理が実行された特定被写体の画像データについて、前記第２撮像条件と前記第１撮像条件とに基づく画像処理を実行する画像処理部と、
    を有する伸張装置。
19. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子と、
    前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する実行する画像処理部と、
    前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームとのブロックマッチングに基づいて圧縮する圧縮部と、
    を有する電子機器。
20. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子と、
    前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行する実行する画像処理部と、
    前記画像処理部によって画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮する圧縮部と、
    を有する電子機器。
21. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームの圧縮をプロセッサに実行させる動画圧縮プログラムであって、
    前記プロセッサに、
    前記撮像素子による被写体の撮像により前記第１撮像領域から出力された画像データに前記第２撮像条件に基づく画像処理を実行させ、
    前記画像処理が実行されたフレームを前記フレームと異なるフレームに基づいて圧縮させる、
    動画圧縮プログラム。
22. 被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、前記第１撮像領域に第１撮像条件を設定可能であり、かつ、前記第２撮像領域に前記第１撮像条件とは異なる第２撮像条件を設定可能な撮像素子から出力された複数のフレームを圧縮した圧縮ファイルをプロセッサに伸張させる伸張プログラムであって、
    前記プロセッサに、
    前記圧縮ファイル内の圧縮フレームを前記フレームに伸張させ、
    伸張された前記フレーム内の前記第２撮像条件に基づく画像処理が実行された特定被写体の画像データについて、前記第２撮像条件と前記第１撮像条件とに基づく画像処理を実行させる、
    伸張プログラム。

Images