JP2015126518A - 撮像装置、画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】 第１の撮像部と第２の撮像部により得られた画像を合成して記録する場合であっても第２の撮像部で撮像された画像のみを抽出して表示することができる画像処理装置を提供する。【解決手段】 合成画像と合成情報とを記録媒体から再生し、再生された合成情報に基づいて合成画像から第２の撮像手段により得られた画像を抽出し、抽出された第２の撮像手段により得られた画像を表示するための情報を生成する。【選択図】 図６

Description

本発明は、撮像装置、画像処理装置、画像処理方法、プログラムに関する。

従来、画像処理置として、被写体を撮像して得られた画像データを静止画または動画として記録媒体に記録するデジタルカメラが知られている。たとえば特許文献１のように、被写体方向を撮影する撮像部と、カメラマン方向を撮影する撮像部を１つずつ設け、これらの撮像部で得られた画像を合成した画像を生成して記録することができる撮像装置が登場してきている。

特開平６−１６５０２９号公報

しかしながら、特許文献１では、それぞれの撮像部で撮影された画像は合成されて記録されてしまうため、一方の撮像部で撮影された画像のみを表示することができなかった。

そこで、本発明は、第１の撮像部と第２の撮像部により得られた画像を合成して記録する場合であっても第２の撮像部で撮像された画像のみを抽出して表示することができる画像処理装置を提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、第１の撮像手段と、第２の撮像手段と、前記第１の撮像手段により得られた画像と、前記第２の撮像手段により得られた画像とを合成した合成画像を生成する合成手段と、前記合成手段により生成された合成画像と、前記合成画像の合成に関する合成情報を記録媒体に記録する記録手段と、前記記録媒体に記録された合成画像と、前記合成情報とを前記記録媒体から再生する再生手段と、前記再生手段により再生された前記合成情報に基づいて、前記再生手段により再生された前記合成画像から、前記第２の撮像手段により得られた画像を抽出する抽出手段と、前記抽出手段により抽出された、前記第２の撮像手段により得られた画像を表示するための情報を生成する生成手段とを有することを特徴とする。

本発明によれば、第１の撮像部と第２の撮像部により得られた画像を合成して記録する場合であっても第２の撮像部で撮像された画像のみを抽出して表示することができる。

本実施例の撮像装置の構成を示す図。 本実施例の動画静止画撮影モードの動作を示す図。 本実施例の動画静止画撮影モードの動作を示す図。 本実施例のストップモーション表示中の表示を示す図。 動画静止画撮影モードで記録されたデータを示す図。 本実施例のアルバム再生の動作を示す図。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

本実施例では、画像処理装置の例として撮像装置を説明するが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。また、本実施例において動画ファイル、静止画ファイルを総称して画像ファイルと表現することがある。また、本実施例において、動画、静止画を総称して画像と表現することもある。また、本実施例において、動画データ、静止画データを総称して画像データを表現することもある。また、本実施例において、動画ファイル、静止画ファイルを総称して画像ファイルと表現することもある。

本実施例の撮像装置は、第１の撮像部と第２の撮像部により得られた画像を合成して記録する場合であっても第２の撮像部で撮像された画像のみを抽出して表示することができる。以下、このような撮像装置について説明する。

＜全体構成＞
まず、図１を用いて、本実施例の撮像装置１００の構成を説明する。

本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、第１撮像部１１０と、画像処理部１１１と、第２撮像部１１２と、集音部１２０と、音声処理部１２１とを有する。また、撮像装置１００は、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、姿勢検出部１６０とを有する。なお、ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

第１撮像部１１０は、第２撮像部１１２は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換する。また第１撮像部１１０は、第２撮像部１１２は、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。画像処理部１１１は、記録時にはＲＡＭ１０２に記憶された画像データを処理し、再生時には、後述の記録媒体１５１から読みだされた画像データを処理する。画像処理部１１１は、画像データのホワイトバランス調整、ゲイン調整、色強調処理等様々な処理を行う。画像処理部１１１は処理した画像データを、表示制御部１４１に送信したり、記録再生部１５０や通信部に送信したりする。また、画像処理部１１１は、Ｈ．２６４／ＡＶＣやＭｏｔｉｏｎＪＰＥＧ２０００、Ｈ．２６５等の動画圧縮技術を用いて画像を動画として圧縮したり、ＪＰＥＧやＪＰＥＧ２０００等の静止画圧縮技術を用いて画像を静止画として圧縮したりすることもできる。圧縮形式はこれらの形式によらず他の方式を用いてもよい。

なお、本実施例の画像処理部１１１は、第１撮像部１１０、第２撮像部１１２により得られた画像を解析し、画像内に人間や顔に対応する画像が含まれるかを検出したり、表情を検出したりすることもできる。検出方法は、さまざまな方式があるがたとえば、人間や顔の特徴画像とのパターンマッチングを行うことで検出することができる。顔を検出した場合には、サイズ、位置をＲＡＭ１０２に記憶させる。また顔が検出された場合には顔画像のエッジ検出を行い、笑顔レベルを判定する。これらの検出情報は静止画または動画の撮影が行われたときに、対象の画像データを含む画像ファイルのヘッダ等に格納される。

音声処理部１２１は、記録時には、集音部１２０により集音して得られた音声データを処理し、再生時には、後述の記録媒体１５１から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、音声データのレベル調整処理、圧縮された音声データの伸張処理、音声データの圧縮処理等を行う。音声処理部１２１は、処理した音声データを、記録再生部１５０や通信部に送信したり、再生時にはスピーカに送信したりする。なお、集音部１２０は、たとえば、撮像装置１００のハウジング内に内蔵された複数の無指向性の音声を集音するマイクである。また、音声処理部１２１では音声圧縮方式として、たとえば、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いる。

表示部１４０は、例えば、液晶表示デバイス、または有機ＥＬ表示デバイスなどからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理された画像データに基づいて、表示部１４０に画像を表示する。また、表示制御部１４１は、表示部１４０に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。

記録再生部１５０は、記録時においては、画像処理部１１１により処理された画像データや音声データを記録媒体１５１に記録し、再生時においては、記録媒体１５１に記録された画像データや音声データを再生する。記録再生部１５０は、記録時においては、画像データや音声データとともに、撮影日や、圧縮に関する情報、撮像部１１０の設定等の各種情報を記録媒体１５１に書き込む。なお、記録再生部１５０は、画像データや音声データを記録媒体１５１に記録する際は、たとえばＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。

姿勢検出部１６０は、撮像装置１００の姿勢を検出するものであって、たとえば、角度センサや加速度センサなどである。本実施例の姿勢検出部１６０は、撮像装置１００の姿勢が、正位置であるか縦位置であるかを検出する。例えば撮像装置１００の第１撮像部１１０の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）を検出することができる。ここで、０度はいわゆる正位置（撮像装置１００の上面が上空方向を向いている状態）であり、１８０度は逆位置（撮像装置１００の上面が地面方向を向いている状態）である。９０度、２７０度とはいわゆる縦位置（撮像装置１００の左右面のいずれかが地面方向を向いている状態）である。

なお、本実施例の第１撮像部１１０（第１の撮像部）、第２撮像部１１２（第２の撮像部）はそれぞれ、異なる方向の被写体を撮像するものである。具体的には、第２の撮像部１１２は、撮影者（いわゆるカメラマン）を撮影するためのサブカメラであり、第１撮像部１１０は、撮影者が撮影しようとしている被撮影者（いわゆる被写体）を撮影するためのメインカメラである。したがって、たとえば、第１撮像部１１０と、第２撮像部１１２は、必ずしも逆方向を撮像するものである必要はない。

ここで、画像処理部１１１、音声処理部１２１、表示制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。

＜撮像装置１００の動作＞
続いて、本実施例の撮像装置１００の動作について説明する。本実施例の撮像装置１００は、「静止画撮影モード」、「動画撮影モード」、「再生モード」のほかに、「動画静止画撮影モード」を有する。各モードにおいて、ＣＰＵ１０１は、撮像装置１００の各ブロックを制御して以下の動作を行わせる。

「静止画撮影モード」、「動画撮影モード」では、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。そして、撮影の指示が入力されると、画像処理部１１１に、各撮像部により得られた画像を動画または静止画として圧縮させ、圧縮した画像を順次記録媒体１５１に記録するように記録再生部１５０を制御する。「静止画撮影モード」の場合は撮影の指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された静止画データを記録媒体１５１に静止画ファイルとして記録するように記録再生部１５０を制御する。一方「動画撮影モード」においては、撮影の指示に対応するタイミングで各撮像部により得られた画像から順次得られる画像をフレーム画像とする動画をたとえばＨ．２６５を用いて圧縮するように画像処理部１１１を制御する。そして、圧縮された動画データを記録媒体１５１に動画ファイルとして記録するように記録再生部１５０を制御する。なお、「動画撮影モード」においては、撮影終了の指示が入力されるまでこの動作を継続する。また、「静止画撮影モード」、「動画撮影モード」において、静止画ファイル、動画ファイルには、各モードで撮影された画像に基づくサムネイル画像（静止画データ）が付加されて記録媒体１５１に記録される。

「動画静止画撮影モード」では、静止画記録の指示が入力されたときに、静止画撮影、静止画記録を行うとともに、静止画記録の指示が入力される直前の４秒間の動画データを記録媒体に記録する。そして、同じ日に、「動画静止画撮影モード」で、複数回の静止画記録の指示が入力された場合には、静止画記録の指示が入力される直前の４秒間の動画データを一つの動画ファイルに追記して記録する。このようにすることで、１日分の静止画撮影直前の動画データを一つの動画ファイルに格納し、閲覧性を向上させることができる。「動画静止画撮影モード」では、ＣＰＵ１０１は、撮影の指示が入力されるまでの間、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を表示部１４０に表示させる。すなわち、各撮像部により得られた画像を画像処理部１１１で処理し、表示部１４０に表示させるように表示制御部１４１を制御する。また、このとき、画像処理部１１１は、第１撮像部１１０により得られた画像のみまたは、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した画像を順次動画データとして圧縮し、ＲＡＭ１０２に一時的に記憶する。ＣＰＵ１０１は、ＲＡＭ１０２には、最新の４秒分の圧縮済みの動画データが常に保持されるようにＲＡＭ１０２の情報を管理する。たとえば最新の４秒以外の動画データは破棄してもよい。次に、静止画記録の指示が入力されると、指示に対応するタイミングで各撮像部により得られた画像を１枚または複数枚をたとえばＪＰＥＧを用いて圧縮するように画像処理部１１１を制御する。そして静止画として圧縮された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。一方、静止画記録の指示に応じて、ＲＡＭ１０２に記憶されている最新の４秒の圧縮済みの動画データについても記録媒体１５１に記録するように記録再生部１５０を制御する。また静止画記録の指示により得られた画像を動画（ストップモーション）としても圧縮するように画像処理部１１１を制御し、最新の４秒の動画データの後に再生されるように記録媒体１５１に記録する。これにより、記録再生部１５０は、記録媒体に記録されている最新の４秒の動画データと同じ動画ファイルに静止画記録の指示により得られた画像の動画データが含まれる。なお、記録される動画データの撮影中の動作に関する情報や、人間の顔の検出された位置、大きさ、笑顔度の情報を対応する静止画ファイルのヘッダに格納してもよい。また、ストップモーション動画を生成したかどうかを示す情報も静止画ファイルのヘッダに格納してもよい。また、第１撮像部１１０により得られた画像と第２撮像部１１２により得られた画像を合成した合成画像を記録する場合は、ユーザにより第２の撮像部１１２により得られた画像を合成する位置、大きさを指定することができる。そして、ＣＰＵ１０１は、指定された第２の撮像部１１２により得られた画像を合成する位置、大きさを示す合成情報を、合成画像とともに記録媒体に記録する。合成情報は、たとえば、動画データの含まれる動画ファイル内のチャプタを管理するためのチャプタ管理情報に格納されていてもよいし、動画データ内の各フレームの画像の付加情報として記録してもよい。

「再生モード」では、記録媒体１５１に記録されている動画ファイルまたは静止画ファイルのファイルリスト及びサムネイル画像を読み出すように記録再生部１５０を制御する。そして記録再生部１５０により再生された各ファイルのサムネイル画像を画像処理部１１１で伸張させ、伸張させたサムネイル画像を表示部１４０に表示するように表示制御部１４１を制御する。そして、ＣＰＵ１０１は、ユーザが操作部１０４を操作することで選択したサムネイル画像に対応する静止画ファイルまたは動画ファイルを画像処理部１１１に伸張させ、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。

＜動画静止画撮影モード＞
ここで、本実施例の「動画静止画撮影モード」について、図２を用いて詳細に説明する。図２は、「動画静止画撮影モード」における撮像装置１００の動作を説明するためのフローチャートである。図２の処理はＣＰＵ１０１が撮像装置１００の各部ブロックを制御することにより実行される処理である。

（Ｓ２０１）
まず、ＣＰＵ１０１は、撮像装置１００の各ブロックの動作状態を取得する。つまり静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を取得する。たとえば、姿勢検出部１６０により検出された撮像装置１００の姿勢を取得する。他には、第１撮像部１１０におけるフォーカス動作に関する情報、ズーム動作に関する情報を取得する。フォーカス動作に関する情報とは、第１撮像部１１０のフォーカスレンズが駆動中であるか否かを示す情報であり、ズーム動作に関する情報とは、第１撮像部１１０のフォーカスレンズが駆動中であるか否かを示す情報である。これらの情報はＣＰＵ１０１により撮像部１１０から取得してもよいし、ＣＰＵ１０１自身が撮像部１１０の駆動を制御した履歴を保持していてもよい。また、このとき、第１撮像部１１０により得られた画像信号を画像処理部１１１に処理させている。ＣＰＵ１０１は、得られた画像を解析し、画像の中に人物または顔といった特徴画像が含まれているか否かをパターンマッチングにより判定し、さらに、顔が検出された場合には「笑顔度」を判定するように画像処理部１１１を制御する。なお、「笑顔度」は、顔画像中の目、口に該当する部分の画像を解析し目に当たる画像を結んだ線の方線と、口に該当する部分の画像の端部と中央部を結んだ線のなす角度が小さいほど「笑顔度」高いと判定し、なす角度が大きいほど「笑顔度」が低いと判定する。「笑顔度」の判定方法はこの方法に限定されない。ＣＰＵ１０１は、このようにして取得した情報を、たとえば１秒単位、０．５秒単位で、所定時間分保持する。これらの情報は後述する処理により、静止画記録の指示に対応する静止画データを含む静止画ファイルに付加情報として記録される。

（Ｓ２０２）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている、第２撮像部１１２の設定情報を取得する。第２撮像部１１２の設定情報には、第２撮像部１１２の撮影が「有効」か「無効」かを示す情報や、第２撮像部１１２により取得された画像を、第１撮像部１１０により取得された画像に重畳する際の「合成位置」や「合成サイズ」を示す情報が含まれる。これらは撮影時、撮影前に、ユーザにより設定される。

（Ｓ２０３）
次に、ＣＰＵ１０１は、Ｓ２０２で取得した第２撮像部１１２の設定情報に基づいて、第２撮像部１１２の撮影が「有効」になっているか否かを判定する。

（Ｓ２０４）
Ｓ２０３で、第２撮像部１１２の撮影が「有効」になっている場合（Ｓ２０３でＹｅｓ）、ＣＰＵ１０１は、第１撮像部により得られた画像と第２撮像部により得られた画像とを合成した画像を生成するように画像処理部１１１を制御する。第２撮像部１１２により得られた画像を合成する位置は、ＲＡＭ１０２に記憶された合成情報（「合成位置」、「合成サイズ」に基づいて、決定された位置である。

（Ｓ２０５）
Ｓ２０３で、第２撮像部１１２の撮影が「有効」になっていない場合（Ｓ２０３でＮｏ）、ＣＰＵ１０１は、第１撮像部により得られた画像を生成するように画像処理部１１１を制御する。

（Ｓ２０６）
Ｓ２０４、Ｓ２０５の後、ＣＰＵ１０１は、生成した画像を動画データとして圧縮するように画像処理部１１１を制御する。これにより、Ｓ２０４またはＳ２０５により生成された画像をフレーム画像とする動画データが生成される。そして、ＣＰＵ１０１は、圧縮された動画データをＲＡＭ１０２に一時的に記憶させる。なお、音声処理についても同様で、ＣＰＵ１０１は、集音部１２０により得られた音声信号を、音声処理部１２１に処理させ、動画データと対応付けてＲＡＭ１０２に一時的に記憶させる。なお、このとき、ＣＰＵ１０１は、Ｓ２０４またはＳ２０５により得られた画像のサイズ変更、ガンマ調整等をするように画像処理部１１１を制御し、得られた画像を表示部１４０に表示するように表示制御部１４１を制御する。これにより、静止画撮影指示が入力されるまでの間、各撮像部により得られた画像を動画データとして圧縮してＲＡＭ１０２にバッファするとともに、表示部１４０にその画像を表示することができる。なお、ここで、Ｓ２０４、またはＳ２０５で生成された画像を、表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ２０７）
次に、ＣＰＵ１０１は、操作部１０４を介して、「動画静止画撮影モード」以外のモードへの変更または、電源オフ等の指示が入力されたかを判定する。

（Ｓ２０８、Ｓ２０９）
Ｓ２０７で、モードの変更が入力された場合（Ｓ２０７でＹｅｓ）、ＣＰＵ１０１は、各撮像部により得られた画像を動画として圧縮する動作を停止するように画像処理部１１１を制御する。また、ＲＡＭ１０２に記憶した動画データ及び音声データと撮像装置１００の各ブロックの動作状態の情報とを消去し、「動画静止画撮影モード」の処理を終了する。

（Ｓ２１０）
Ｓ２０７で、モードの変更が入力されなかった場合（Ｓ２０７でＮｏ）、ＣＰＵ１０１は、撮像装置１００の各ブロックの動作状態に変化があったか、または、第２撮像部１１２の設定情報に変化があったかを判定する。なお、撮像装置１００の各ブロックの動作状態のうち一部の動作状態のみについて変化があったか判定を行ってもよいし、第２撮像部１１２の設定情報のうち一部の設定のみにについて変化があったかを判定してもよい。本実施例では、姿勢情報に変化があったか、および第２撮像部１１２の「有効」、「無効」かを示す情報に変化があったか、重畳して表示する際の「表示位置」や「表示サイズ」を示す情報に変化があったかを判定する。また、第２撮像部１１２の画像の合成情報（「合成位置」、「合成サイズ」を示す情報）が変更されたかを判定してもよい。

（Ｓ２１１）
Ｓ２１０で、撮像装置１００の各ブロックの動作状態に変化があったか、または、第２撮像部１１２の設定情報に変化があった場合（Ｓ２１０でＹｅｓ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶した動画データ及び音声データと撮像装置１００の各ブロックの動作状態の情報とを消去する。そして、処理をＳ２０１に戻す。例えば、姿勢検出部１６０により検出された撮像装置の姿勢情報が「０度」から「９０度」に変化した場合にこのような動作を行う。また、第２撮像部１１２の設定を「有効」から「無効」に変更した場合にもこのような動作を行う。

（Ｓ２１２）
一方、Ｓ２１０で、撮像装置１００の各ブロックの動作状態に変化がなく、第２撮像部１１２の設定情報にも変化がない場合（Ｓ２１０でＮｏ）。ＣＰＵ１０１は、操作部１０４のシャッターボタンのＳＷ１がＯＮになったかを判定する。なお、本実施例の撮像装置１００のシャッターボタンは、一般的な撮像装置のシャッターボタンと同様に２段階スイッチになっている。シャッターボタンの半押し状態でＳＷ１がＯＮになり、シャッターボタンの全押し状態でＳＷ２がＯＮになる。すなわち、Ｓ２１２では、シャッターボタンが半押し状態になったか否かを判定する。ここで、操作部１０４のシャッターボタンのＳＷ１がＯＮになっていない場合（Ｓ２１２でＮｏ）、処理をＳ２０１に戻す。本実施例ではシャッターボタンのように２段階スイッチになっている構成を例に示したが、このＳＷ１、ＳＷ２は別々のボタンに割り当てられていてもよいし、タッチパネル上の異なるＵＩに対応するボタンに割り当てられていてもよい。

（Ｓ２１３）
一方、操作部１０４のシャッターボタンのＳＷ１がＯＮになっている場合（Ｓ２１２でＹｅｓ）、ＣＰＵ１０１は、静止画撮影のための動作を第１撮像部１１０に実行させる。その処理は、たとえばオートフォーカス（ＡＦ）処理、自動露出調整（ＡＥ）処理、オートホワイトバランス（ＡＷ）処理、ＡＦ補助光の発光処理等である。なお、本実施例の撮像装置１００は、ＳＷ１がＯＮである場合には、Ｓ２１０の判定を行わず、たとえば撮像装置１００の姿勢が変化したとしてもＲＡＭ１０２にバッファされた動画データ、音声データ、撮像装置１００の各ブロックの動作状態の情報とを消去しない。

（Ｓ２１４）
次に、ＣＰＵ１０１は、操作部１０４のシャッターボタンのＳＷ２がＯＮになったかを判定する。すなわち、Ｓ２１４では、シャッターボタンが全押し状態になったか否かを判定する。ここで、操作部１０４のシャッターボタンのＳＷ１がＯＮになっていない場合（Ｓ２１４でＮｏ）、処理をＳ２０１に戻す。

（Ｓ２１５）
一方、操作部１０４のシャッターボタンのＳＷ２がＯＮになっている場合（Ｓ２１４でＹｅｓ）、ＣＰＵ１０１は、静止画用の画像を取得するように、第１撮像部１１０および／または第２撮像部１１２を制御する。そして、ＣＰＵ１０１は、さらに、各撮像部により得られた画像を動画として圧縮する動作を停止するように画像処理部１１１を制御し、また表示部１４０の表示を一度ブラックアウトするように表示制御部１４１を制御する。

（Ｓ２１６）
次に、ＣＰＵ１０１は、撮影後の処理を実行する。撮影後の処理については図３を用いて説明する。図３の処理はＣＰＵ１０１が撮像装置１００の各部ブロックを制御することにより実行される処理である。

（Ｓ３０１）
ＣＰＵ１０１は、Ｓ２１５で各撮像部から取得した静止画用の画像を表示部１４０に表示するように表示制御部１４１を制御し、さらに、静止画データとして圧縮するように画像処理部１１１を制御する。そして、ＣＰＵ１０１は、画像処理部１１により生成された静止画データを記録媒体１５１に記録するように記録再生部１５０を制御する。なお、静止画データは静止画ファイルとして記録媒体１５１に記録される。なお、本実施例において、第１撮像部１１０、第２撮像部１１２のそれぞれにより得られた画像は、別々の静止画データとして圧縮するものとするが、これらを合成した状態で静止画データとして圧縮してもよい。

（Ｓ３０２）
次に、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分以上の動画データであるか否かを判定する。

（Ｓ３０３）
ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分以上の動画データである場合（Ｓ３０２でＹｅｓ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データと音声データを記録媒体１５１に記録するように記録再生部１５０を制御する。なお、動画データと音声データは動画ファイルとして記録媒体１５１に記録される。また、このとき、ＣＰＵ１０１は、ＲＡＭ１０２に記憶されていた図６に示す撮像装置１００の各ブロックの動作状態を示す情報を対応する静止画ファイルのヘッダ部分に付加情報として格納する。これにより、記録媒体１５１に記録された動画データの撮影中の撮像装置１００の各ブロックの動作状態が、対応する静止画ファイルの付加情報として記録媒体１５１に記録されることになる。

（Ｓ３０４）
一方、ＲＡＭ１０２に記憶されている動画データが、ｔ０秒分より少ない動画データである場合（Ｓ３０２でＮｏ）。ＣＰＵ１０１は、ＲＡＭ１０２に記憶されている動画データと音声データ、および、撮像装置１００の各ブロックの動作状態を示す情報をＲＡＭ１０２から消去する。

（Ｓ３０５）
Ｓ３０３またはＳ３０４の処理の後、ＣＰＵ１０１は、第２撮像部１１２の設定が「有効」であるか「無効」であるかを判定する。なお、本実施例の撮像装置１００では、この後に生成する静止画記録の指示（ＳＷ２がＯＮ）に対応して第１撮像部１１０により得られた画像を動画として圧縮する際の生成方式がこの設定に応じて異なる。この動画はＳＷ２がＯＮになったことに応じて、第１撮像部１１０により得られた画像を所定フレーム連続して表示することができる動画であり、本実施例ではこの動画をストップモーションと呼ぶ。なお、本実施例においては、第２撮像部１１２により得られた画像についてはストップモーションとはせずに、第１撮像部１１０により得られた画像をプレビュー表示しているときに第２撮像部１１２により得られた画像を順次合成したものとする。第２撮像部１１２の設定が「有効」である場合には、ストップモーション動画を生成する。「無効」である場合には、ＳＷ２のＯＮになる前にＲＡＭ１０２に記憶された動画データがｔ０以上であり、ストップモーション設定が有効になっている場合には、ストップモーション動画データを生成する。一方、「無効」であった場合、ＳＷ２のＯＮになる前にＲＡＭ１０２に記憶された動画データがｔ０未満であったり、ストップモーション設定が無効になっていたりする場合には、ストップモーションデータを生成しない。

（Ｓ３０６）
Ｓ３０５で、第２撮像部１１２の設定が「有効」である場合（Ｓ３０５でＹｅｓ）、ＣＰＵ１０１は、ストップモーション動画を生成するように画像処理部１１１を制御する。この場合は、前述したように、ＳＷ２がＯＮになったときに第１撮像部１１０で得られた画像を表示部１４０にプレビュー表示しているときに第２撮像部１１２で得られた画像をストップモーション動画に合成する。すなわち、図４（ａ）のごとく、第１撮像部１１０により得られた画像のストップモーション４０１に対して、第２撮像部１１２により得られた画像が４０２のように動画として重畳されたストップモーション動画を生成する。そのためＳ３０６では、ＳＷ２がＯＮになったときに第１撮像部１１０により得られた画像をストップモーション動画用のサイズに変更する等の処理をするように画像処理部１１１を制御する。

（Ｓ３０７）
次に、ＣＰＵ１０１は、第２撮像部１１２により得られた画像をＳ３０６で生成したストップモーション用の画像に合成した画像を生成するように画像処理部１１１を制御する。

（Ｓ３０８）
次に、ＣＰＵ１０１は、Ｓ３０７で生成された合成画像を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ３０９）
次に、ＣＰＵ１０１は、Ｓ３０７で生成された合成画像を動画の１つのフレームにして動画データとして圧縮するように画像処理部１１１を制御する。

（Ｓ３１０）
ＣＰＵ１０１は、Ｓ３０７からＳ３０９の処理をストップモーション動画の時間がｔ１秒になるまで続ける。この処理により、ｔ１秒分のストップモーション動画が生成されることになる。

（Ｓ３１１）
一方、Ｓ３０５で、第２撮像部１１２の設定が「無効」である場合（Ｓ３０５でＮｏ）、ＣＰＵ１０１は、Ｓ３０４によるＲＡＭ１０２に記憶された動画データの消去がされたか否かを判定する。動画データが消去されている場合（Ｓ３１１でＹｅｓ）、撮影後処理を終了する。すなわち、静止画記録の指示の直前の動画データもストップモーション動画の動画データも記録せずに処理を終了する。

（Ｓ３１２）
一方、動画データが消去されていない場合（Ｓ３１１でＮｏ）、ＣＰＵ１０１は、ストップモーション動画の設定が有効であるか否かを判定する。ストップモーション動画の設定が有効でない場合（Ｓ３１２でＮｏ）、ストップモーション動画の生成をせずに処理を終了する。

（Ｓ３１３）
一方、ストップモーション動画の設定が有効である場合（Ｓ３１２でＹｅｓ）、ＣＰＵ１０１は、ストップモーション動画を生成するように画像処理部１１１を制御する。Ｓ３１３では、ＳＷ２がＯＮになったときに第１撮像部１１０により得られた画像をストップモーション動画用のサイズに変更する等の処理をするように画像処理部１１１を制御する。

（Ｓ３１４）
次に、ＣＰＵ１０１は、Ｓ３１３で生成された合成画像を表示部１４０に表示するように表示制御部１４１を制御する。

（Ｓ３１５）
次に、ＣＰＵ１０１は、Ｓ３１３で生成された合成画像を動画の１つのフレームにして動画データとして圧縮するように画像処理部１１１を制御する。

（Ｓ３１６）
ＣＰＵ１０１は、Ｓ３１５の処理をストップモーション動画の時間がｔ２秒になるまで続ける。この処理により、ｔ２秒分のストップモーション動画が生成されることになる。

（Ｓ３１７）
Ｓ３１０、Ｓ３１６の後、ＣＰＵ１０１は、画像処理部１１１により生成されたストップモーション動画を記録媒体１５１に記録するように記録再生部１５０を制御する。なお、Ｓ３０３でＳＷ２がＯＮになる前の４秒分の動画データを記録媒体１５１に記録している場合には、その動画データが格納されている動画ファイルにストップモーション動画の動画データを追記する。

このようにして、Ｓ２１６の処理を終了する。なお、Ｓ２１６の処理終了後、基本的には、動画静止画撮影モードを終了せずＳ２０１から処理を継続する。

なお、本実施例においては、ｔ１＞ｔ２とする。これは、単にストップモーション動画を表示する場合は、ｔ２。ストップモーション動画に対応する画像を確認しているときのカメラマンの表情の変化をとらえた動画をストップモーション動画に合成している場合は、ｔ１。このようにカメラマンの表情の変化をとらえた動画を重畳するので、ｔ１の方が長くなるようにしている。

次に、動画静止画撮影モードにおいて、記録される静止画および動画について図５を用いて説明する。図５（ａ）は、動画静止画撮影モードにおいて、ＳＷ２がＯＮになったときタイミングと、記録される静止画と動画を示す概略図である。図５（ａ）では、以下の状況を示している。２０１３年１０月１０日に、１５時１６分２０秒にＳＷ２がＯＮされ（レリーズ１）、動画データＭ１（５０１）と、静止画データＰ１（５０２）が、記録される。更に、１５時３０分４５秒にＳＷ２がＯＮされ（レリーズ２）、動画データＭ２（５０３）と静止画データＰ２（５０４）が記録される。さらに、１５時４０分３０秒にＳＷ２がＯＮされ（レリーズ３）、動画データＭ３（５０５）と静止画データＰ３（５０６）が記録される。

図５（ｂ）は、記録媒体１５１に記録された動画ファイル、静止画ファイルの内容を示す概略図である。本実施例では、同じ日に記録されたデータを含むファイルは、１つのディレクトリ５１１（ディレクトリ名：１００＿１０１０）に格納される。ディレクトリ名及び各ファイル名はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ Ｓｙｓｔｅｍ）に則って決定される。また、前述したように、同日に、動画静止画撮影モードで記録された動画データは、一つの動画ファイルに追記されていく。動画ファイル５１２（動画ファイル名：ＭＤＧ＿０００１．ＭＯＶ）には、図５（ａ）に示した同日に行われた、動画静止画撮影モードでの３回の撮影にそれぞれ対応した動画データが記録され、それぞれの動画データにはチャプタが設定される。すなわち、動画ファイルＭＤＧ＿０００１．ＭＯＶには、複数のシーンに対応する動画データが含まれている。それぞれのシーンは、同じフォルダに格納されている静止画ファイルＩＭＧ＿０００２．ＪＰＧ、ＩＭＧ＿０００３．ＪＰＧ、ＩＭＧ＿０００４．ＪＰＧにそれぞれ対応するシーンである。なお、通常の動画撮影モードで撮影された動画は、別の動画ファイルとして記録される。

チャプタ１（５１４）に対応する動画データは、静止画ファイルＩＭＧ＿０００２．ＪＰＧの撮影指示に対応する動画データであり、図５（ａ）の動画データＭ１である。チャプタ２（５１５）に対応する動画データは、静止画ファイルＩＭＧ＿０００３．ＪＰＧの撮影指示に対応する動画データであり、図５（ａ）の動画データＭ２及び、静止画データＰ２と同じ画像から生成されたストップモーション動画データである。チャプタ３（５１６）に対応する動画データは、静止画ファイルＩＭＧ＿０００３．ＪＰＧの撮影指示に対応する動画データであり、静止画データＰ２と同じ画像から生成されたストップモーション動画データである。チャプタ３（５１６）に対応する動画データに対応する動画データに図５（ａ）の動画データＭ３が含まれないのは、動画データＭ３がｔ０秒以下の動画データであるからである。

動画ファイルＭＤＧ＿０００１．ＭＯＶには、これらの複数の動画データを含む動画ファイルの「チャプタ参照情報」が、ヘッダ部分に記録される。このチャプタ情報は、動画静止画撮影モードで、動画データを記録媒体１５１に記録するたびに更新される。チャプタ参照情報について図５（ｃ）を用いて説明する。チャプタ参照情報は、動画ファイルのファイルサイズ（５２１）、動画ファイルに含まれる動画データのフレーム数（５２２）が含まれる。更に、設定されたチャプタ番号（５２３）と、チャプタに対応する動画データの撮影時刻（５２４）、チャプタに対応する動画データの先頭フレームの番号（５２５）、各チャプタに対応する動画データのフレーム数（５２６）が含まれる。更に、第２撮像部１１２の画像の合成位置（５２７）、チャプタに対応する動画データ中のストップモーション動画データの位置（５２８）が含まれる。

チャプタ番号（５２１）は、動画静止画撮影モードで、動画データが記録される度に追加される。動画データの撮影時刻（５２４）は、動画静止画撮影モードでＳＷ２がＯＮされた時刻および年、月、日である。すなわち、動画静止画撮影モードで記録された対応する静止画データの撮影時刻と同じである。このように各静止画データの撮影時刻と各チャプタの動画データの撮影時刻を同じにすることにより静止画データから対応するチャプタを識別することを容易にしている。

各チャプタの先頭のフレーム番号（５２５）は、動画ファイル５１２に記録された動画データ全体の中で、各チャプタの先頭フレームのフレーム番号であり、これを用いると各動画データの頭出し再生が容易に可能となる。第２撮像部１１２の画像の合成情報（５２７）は、第１撮像部１１０の画像の左上の座標を（Ｘ，Ｙ）＝（０，０）としたときに、する第２撮像部１１２の画像の左上の座標Ｘ，Ｙ（合成位置）と、第２撮像部１１２の画像の横幅Ｗ、縦幅Ｈ（合成サイズ）からなる。チャプタ１では、第２撮像部１１２の画像の座標、横幅、縦幅の値が０である。この場合は、第２撮像部１１２の撮影設定が「無効」であることを示している。この第２撮像部１１２の画像の合成情報（合成位置および合成サイズ）（５２７）の情報を用いることで、第２撮像部１１２の画像をトリミング（切り出）して表示することも可能となる。

ストップモーション動画データの位置（５２８）は、各チャプタの動画データの先頭フレームを０としたときの、ストップモーション動画データ部分のフレーム番号を示す。チャプタ１の動画データでは、ストップモーション動画の部分は存在しない。そしてチャプタ２では、チャプタ２の動画データのフレーム数１８０のうち、後半の９０フレーム目から１７９フレーム目がストップモーション動画である。チャプタ３では、チャプタ３の動画データのフレーム数１８０のうちの全てがストップモーション動画である。ストップモーション動画データの位置がわかることで、各チャプタの動画データの中のストップモーション動画の部分のみを再生したり、ストップモーション動画以外の部分のみを再生したりすることが容易になる。

チャプタ参照情報は、このほかに、動画データの画像の撮影中に画像処理部１１１により識別された特定の人物や顔を示す識別情報（登録番号、識別子、名前、ニックネーム、誕生日等）を含む。特定の人物や顔を検出するのは、第１撮像部１１０の画像および、第２撮像部１１２の画像の両方であってもよい。また、動画データの画像の撮影中に画像処理部１１１により識別された顔の位置や個数を示す情報を含む。また、動画データの画像の撮影中に画像処理部１１１により識別されたまた、顔の位置や個数を検出するのは第１撮像部１１０の画像及び、第２撮像部１１２の画像両方であってもよい。

動画静止画撮影モードで記録されたそれぞれの静止画ファイルには、動画静止画撮影モードでＲＡＭ１０２に記憶していた、静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を示す付加情報が格納される（Ｓ３０３）。

静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態を示すこの付加情報は、図６に示すような情報である。図６に示すように、静止画記録の指示が入力される前の撮像装置１００の各ブロックの動作状態は、所定時間単位で取得され、その情報に基づいて、付加情報が生成される。時間軸はＳＷ２がＯＮになった時を０とし、その前の撮像装置１００の各ブロックの動作状態を４秒分保持している。図６には、カメラ１００の姿勢情報、第１撮像部１１０におけるＡＦ動作の有無の情報、及びズーム動作の有無の情報、被写体の情報としてメインカメラの被写体の笑顔度の情報が含まれる。撮像装置１００の各ブロックの動作状態として、これら以外の項目があってもよい。例えば、動画データを構成する各フレームを画像処理部１１１で解析することにより、動画データに含まれる被写体や、被写体の位置、顔の大きさ等が、撮像装置１００の各ブロックの動作状態の項目を含んでもよい。付加情報にはこのような情報が含まれる。

＜アルバム再生＞
ここで、本実施例の撮像装置１００は、「再生モード」において「アルバム再生」を選択することができる。「アルバム再生」は、複数の画像データから所定数の画像を抽出し、抽出された画像を表示するものである。この「アルバム再生」における撮像装置１００の動作について、図６を用いて説明する。図６のフロー図は、ＣＰＵ１０１が、撮像装置１００の各ブロックを制御することにより実行される処理を示す。なお、本実施例の「アルバム再生」は、指定された日付に撮影された画像データから所定数の画像を抽出する例について説明するが、たとえば、指定された人物に関連する画像から所定数の画像を抽出するようにしてもよい。また、ユーザによる評価値（お気に入り度、レーティング）が上位の画像データ群から所定数の画像を抽出するようにしてもよい。

＜対象画像特定＞
（Ｓ６０１）
まず、「アルバム再生」が指定されると、ＣＰＵ１０１は、最後に再生していた画像データの撮影日時情報を取得する。そして、同じ日時に、静止画撮影モードにて記録された、静止画ファイル及び、動画静止画撮影モードにて記録された静止画ファイル、及び動画ファイルを特定する。特定された静止画ファイルと動画ファイルに含まれる画像がアルバム再生の対象となる。

（Ｓ６０２）
次に、ＣＰＵ１０１は、特定された静止画ファイルと、動画ファイルの各チャプタを１時間ごとのグループ（部分集合）に分類する。なお、グループに分ける場合は１時間単位で単純に区切ってもよいが、連続性のある撮影が行われている可能性もあるので最短距離法を用いて、１時間程度の単位になるように分類してもよい。

（Ｓ６０３）
次に、ＣＰＵ１０１は、分類されたグループ単位で、画像の抽出を行う。本実施例では、静止画については４秒表示し、動画については、抽出されたチャプタの動画を表示する（本実施例では約４秒）。そして、目標とされる総再生時間が約２分であるものとする。すなわち静止画と動画のシーンの数は、２（分）×６０（秒換算）÷２（秒）＝６０（シーン）である。本実施例では、各グループ内で、動画のシーンと静止画のシーンが、１：３程度の割合になるように、各グループ内で、動画と、静止画とで別々に評価を行い、評価値の高い動画と静止画とを抽出する。なお、静止画の表示時間については４秒に固定されるものではない。本実施例では説明を容易にするために動画と同じ４秒として説明をした。

ここで、動画の評価値の算出方法について説明する。ここではあるチャプタに属する動画の評価値を算出の例について説明する。まず、チャプタ［Ｍ］の評価値ＭｏｖｉｅＶａｌｕｅ［Ｍ］は、チャプタ［Ｍ］のチャプタ参照情報中の、顔の位置や個数を示す情報（顔検出情報）を用いて、評価値を算出する。具体的には、チャプタ［Ｍ］内の検出された顔の位置が中心に近いほど評価値を高く算出し、また、顔の大きさが大きいほど評価値を高く算出する。さらに、第２撮像部１１２で撮像された画像の評価値をさらに加えてもよい。たとえば、チャプタ［Ｍ］のチャプタ参照情報中の、第２撮像部１１２で撮像された画像の顔の位置や個数を示す情報（顔検出情報）を用いて評価値を算出する。そして、算出された評価値を評価値ＭｏｖｉｅＶａｌｕｅ［Ｍ］に加算する。このようにして動画の評価値を算出する。静止画に関してもその画像中の顔の大きさ、位置、個数または笑顔度等の情報を用いて評価値を算出する。

（Ｓ６０４）
次に、ＣＰＵ１０１は、カメラマン表示に使用する動画を含む動画のチャプタを特定する。カメラマン表示とは、第２撮像部１１２で撮像された画像のみを表示するものである。本実施例では、Ｓ６０３で抽出された動画のチャプタの中でさらに、第２撮像部１１２で撮像された画像の評価値の高いシーンをカメラマン表示に使用するものとする。そのためＣＰＵ１０１は、Ｓ６０３で抽出されたチャプタのチャプタ参照情報に基づいて、第２撮像部１１２で撮像された画像中の顔の位置や個数を示す情報に基づいて、第２撮像部１１２で撮像された画像の評価値を算出する。そして、その上位３つのチャプタをカメラマン表示に使用する動画を含む動画のチャプタであると、特定する。

なお、撮像装置１００にあらかじめ、人物や顔を特定するための特徴画像と識別子が関連付けられた「辞書」が保存されている場合は、第２撮像部１１２で撮像された画像に、「辞書」に登録された人物や顔を含むチャプタを優先して選択するようにしてもよい。

（Ｓ６０５）
次に、ＣＰＵ１０１は、Ｓ６０３で抽出した静止画と動画とを時系列順に表示し、Ｓ６０４で特定されたチャプタの第２撮像部１１２で撮像された画像を切り出した画像を表示するためのアルバムシナリオを作成する。本実施例では静止画を４秒表示するようにシナリオを作成する。

（Ｓ６０６）
次に、ＣＰＵ１０１は、Ｓ６０５で作成されたシナリオに従って、再生した画像を表示部１４０に表示する。静止画ファイルに対応する静止画を表示するときは、ＣＰＵ１０１は、シナリオによって再生対象とされる静止画ファイルを記録媒体１５１から再生するように記録再生部１５０を制御する。そして、再生された静止画ファイルの画像を画像処理部１１１で伸張させて表示部１４０に表示するように表示制御部１４１を制御する。このとき連続して４秒この画像が表示されるように表示制御部１４１を制御する。一方、特定されたチャプタに対応する動画を表示する場合、そのチャプタの含まれる動画ファイルのチャプタ参照情報に従って、そのチャプタの動画のフレームが動画ファイルの動画の何フレーム目から何フレーム目までかを特定する。そして、ＣＰＵ１０１は、動画ファイルのヘッダを参照し、対象フレームのファイルオフセットを特定し、対象の動画データを記録媒体１５１から読みだすように記録再生部１５０を制御する。そして、読みだした動画データを画像処理部１１１に伸張させ、伸張した画像を順次表示部１４０に表示するように表示制御部１４１を制御する。

最後に、カメラマン表示を行う場合の処理について説明する。本実施例では前述のように、「動画静止画撮影モード」で、第２撮像部１１２を「有効」にしていた場合、第１撮像部で撮像された画像と第２撮像部１１２で撮像された画像とを合成し、さらに動画として圧縮された状態で記録媒体に記録している。そのため、カメラマン表示を行うためには、第２撮像部１１２で撮像された画像の合成位置、合成サイズを特定しなければならない。本実施例では、チャプタ参照情報に第２撮像部１１２で撮像された画像の合成情報（合成位置、合際サイズ）が格納されているので、その情報に基づいて、画像の切り出し（トリミング）を行い、画像を抽出する。そこで、ＣＰＵ１０１は、Ｓ６０４で特定された、カメラマン表示に使用する動画を含むチャプタの動画をチャプタ参照情報に従って、特定する。そして、そして、ＣＰＵ１０１は、動画ファイルのヘッダを参照し、対象フレームのファイルオフセットを特定し、対象の動画データを記録媒体１５１から読みだすように記録再生部１５０を制御する。そして、読みだした動画データを画像処理部１１１に伸張させる。次に、ＣＰＵ１０１は、チャプタ参照情報に含まれる合成情報（合成位置、合際サイズ）に基づいて、第２撮像部１１２で撮像された画像の合成されている領域を特定し、その領域を切り出す（トリミング）ように画像処理部１１１を制御する。そして切り出された画像と、「ｃａｍｅｒａｍａｎ」等のテキスト情報を合成するように画像処理部１１１を制御し、合成した画像を表示部１４０に表示するように表示制御部１４１を制御する。なお、このとき、切り出された第２撮像部１１２で撮像された画像を画面中央にくるように移動させたり、拡大したりしてもよい。

（Ｓ６０７）
次に、ＣＰＵ１０１は、ユーザの指示により、再生の指示が入力されたか、保存の指示が入力されたかを判定する。再生の指示が入力された場合（Ｓ６０７で再生）、処理をＳ６０６に戻す。

（Ｓ６０８）
Ｓ６０７で、保存の指示が入力された場合（Ｓ６０７で保存）。ＣＰＵ１０１は、シナリオに従った表示をすることができる動画データを生成するように画像処理部１１１を制御し、画像処理部１１１で生成された画像を記録媒体１５１に記録するように記録再生部１５０を制御する。このとき、ＣＰＵ１０１は、Ｈ．２６４やＨ．２６５等の圧縮符号化技術を用いて、シナリオに従った表示画像を圧縮して動画データを生成する。

以上のように本実施例の撮像装置１００は、「アルバム再生」において、記録媒体１５１に記録された、所定の範囲または条件によって絞り込まれた複数の画像群から、評価値の高い画像を表示することができる。さらに、同様の表示を行うための動画データを生成することもできる。特に、「カメラマン表示」を行う場合には、チャプタ参照情報に第２撮像部１１２で撮像された画像の合成情報（合成位置、合際サイズ）が格納されているので、その情報に基づいて、画像の切り出し（トリミング）を行い、画像を抽出する。

このようにすることで、本実施例の撮像装置は、第１の撮像部と第２の撮像部により得られた画像を合成して記録する場合であっても第２の撮像部で撮像された画像のみを抽出して表示することができる。

なお、抽出されたチャプタの動画データにストップモーション動画が含まれている場合は、同じ画像である静止画については評価値が高くとも抽出対象としないようにしてもよい。

なお、評価値のうちどの評価値が高い画像を優先するか、優先される評価値を設定できるようにしてもよい。

なお、本実施例では、撮像装置を例にとって説明したが、複数の動画または静止画またはその両方を再生することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

Claims (16)

1. 第１の撮像手段と、
   第２の撮像手段と、
   前記第１の撮像手段により得られた画像と、前記第２の撮像手段により得られた画像とを合成した合成画像を生成する合成手段と、
   前記合成手段により生成された合成画像と、前記合成画像の合成に関する合成情報を記録媒体に記録する記録手段と、
   前記記録媒体に記録された合成画像と、前記合成情報とを前記記録媒体から再生する再生手段と、
   前記再生手段により再生された前記合成情報に基づいて、前記再生手段により再生された前記合成画像から、前記第２の撮像手段により得られた画像を抽出する抽出手段と、
   前記抽出手段により抽出された、前記第２の撮像手段により得られた画像を表示するための情報を生成する生成手段とを有することを特徴とする撮像装置。
2. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成位置を示すことを特徴とする請求項１に記載の撮像装置。
   前記画像処理装置。
3. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成サイズを示す請求項１または２に記載の撮像装置。
4. 前記記録手段は、前記生成手段により生成された情報を動画データとして前記記録媒体に記録することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記生成手段は、前記抽出手段により抽出された前記第２の撮像手段により得られた画像に所定のテキスト情報を合成することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 第１の撮像手段により得られた画像と、第２の撮像手段により得られた画像とを合成した合成画像と、前記合成画像の合成に関する合成情報とを、記録媒体から再生する再生手段と、
   前記再生手段により再生された前記合成情報に基づいて、前記再生手段により再生された前記合成画像から、前記第２の撮像手段により得られた画像を抽出する抽出手段と、
   前記抽出手段により抽出された、前記第２の撮像手段により得られた画像を表示するための情報を生成する生成手段とを有することを特徴とする画像処理装置。
7. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成位置を示すことを特徴とする請求項６に記載の画像処理装置。
8. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成サイズを示す請求項６または７に記載の画像処理装置。
9. 前記生成手段により生成された情報を動画データとして前記記録媒体に記録する記録手段を有することを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
10. 前記生成手段は、前記抽出手段により抽出された前記第２の撮像手段により得られた画像に所定のテキスト情報を合成することを特徴とする請求項６から９のいずれか１項に記載の画像処理装置。
11. 第１の撮像手段により得られた画像と、第２の撮像手段により得られた画像とを合成した合成画像と、前記合成画像の合成に関する合成情報とを、記録媒体から再生する再生ステップと、
    前記再生ステップで再生された前記合成情報に基づいて、前記再生ステップで再生された前記合成画像から、前記第２の撮像手段により得られた画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出された、前記第２の撮像手段により得られた画像を表示するための情報を生成する生成ステップとを有することを特徴とする画像処理方法。
12. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成位置を示すことを特徴とする請求項１１に記載の画像処理方法。
13. 前記合成情報は、前記合成画像における前記第２の撮像手段により得られた画像の合成サイズを示す請求項１１または１２に記載の画像処理方法。
14. 前記生成ステップにより生成された情報を動画データとして前記記録媒体に記録する記録ステップを有することを特徴とする請求項１１から１３のいずれか１項に記載の画像処理方法。
15. 前記生成ステップにおいて、前記抽出ステップで抽出された前記第２の撮像手段により得られた画像に所定のテキスト情報を合成することを特徴とする請求項１１から１４のいずれか１項に記載の画像処理方法。
16. コンピュータに請求項１１から１５のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。
    

Images