JP5531467B2 - 撮像装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、撮像装置において撮影された画像から代表画像としてのハイライトシーンを選択する処理を行う撮像装置、および画像処理方法、並びにプログラムに関する。

動画撮影可能な撮像装置で多数の動画を撮り貯めた場合、その再生には長時間を要する。このような場合、撮影画像から代表的なシーンを選択して表示するハイライトシーン抽出表示処理が利用される。ハイライトシーン抽出処理については、例えば特許文献１（特開２００７−１３４７７１号公報）に記載がある。

ハイライトシーンの抽出手法には様々な手法がある。例えば、顔認識技術を適用し、撮影画像である動画像構成フレームから顔検出フレームを抽出してハイライトシーンとする手法がある。あるいは、撮影時のカメラの操作情報であるズーム操作情報などを撮影画像の属性情報として記録し、ユーザ操作の発生を示す属性情報の対応付けられたフレーム画像をハイライトシーンとして抽出する手法などがある。

これとは別に、近年、撮像機器として、複数のレンズと撮像素子を搭載し、立体画像表示を行うための異なる視点の画像を撮影する装置が開発されている。例えば、カメラに備えられた複数のレンズと撮像素子によって、立体画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を撮影し、表示装置においてこれらの画像を利用して立体画像を表示するものである。

ところが、前述のハイライトシーン抽出手法は、このような立体画像に適応したものとなっていないのが現状である。前述のハイライトシーン抽出手法は２次元画像を考慮して考案されているため、２次元画像のシーンとしては適切なハイライトシーンであるが、立体画像として再生した場合にはハイライトシーンとしてふさわしくない場合が発生する。

例えば、顔画像が認識されたフレームをハイライトとする場合、顔の位置がフレームの端部に位置するような場合でもハイライトシーンとして抽出するが、このような画像は立体感を得られにくいという問題がある。また、ズーム操作を行ったフレームをハイライトシーンとした場合、被写体がしだいに遠ざかっていくようなシーンもハイライトシーンとして設定される可能性がある。このようなシーンは、被写体に対する注目度が低下している場合であり、ハイライトシーンとして抽出することが好ましいとは言えない。

特開２００７−１３４７７１号公報

本発明は、例えば上記問題点に鑑みてなされたものであり、立体画像に適応した代表画像であるハイライトシーンの抽出を行う撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
複数視点からの画像を撮影する複数の撮像部と、
前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御部と、
前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御部を有し、
前記画像選択制御部は、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う構成である撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記画像選択制御部は、時系列の撮影画像の被写体距離を参照して被写体が時間経過に伴い撮像装置に近づく画像であるか否かを判定し、近づく画像をハイライトシーンとして選択する処理を行う。

さらに、本発明の撮像装置の一実施態様において、前記画像選択制御部は、被写体が画像フレームの中央領域に位置すると判定した画像を含む連続する撮影画像によって構成される動画像をハイライトシーンとして選択する処理を行う。

さらに、本発明の撮像装置の一実施態様において、前記記録制御部は、撮影された動画像の記録ファイルとして設定されるストリームファイルに対応する管理ファイルであるクリップ情報ファイル、または、再生リストを格納したであるプレイリストファイルのいずれかに前記被写体距離情報を記録する。

さらに、本発明の撮像装置の一実施態様において、前記記録制御部は、前記被写体距離情報を、前記クリップ情報ファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、クリップ情報ファイルに規定されるクリップのプレゼンテーションタイムスタートタイムからのオフセット時間を記録し、前記被写体距離情報を、プレイリストファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、プレイリストに含まれるプレイアイテムに対応して設定されるインタイム(ＩｎＴｉｍｅ)からのオフセット時間を記録する。

さらに、本発明の撮像装置の一実施態様において、前記記録制御部は、前記撮像部において撮影された画像に顔領域が含まれるか否かの顔認識情報を前記属性情報に含めて記録部に記録する処理を行い、前記画像選択制御部は、前記属性情報に含まれる顔認識情報を参照して、顔認識がなされた画像を前記ハイライトシーンとして選択する処理を行う構成である。

さらに、本発明の撮像装置の一実施態様において、前記記録制御部は、前記撮像部において撮影された画像の撮影位置を示すＧＰＳ情報を前記属性情報に含めて記録部に記録する処理を行い、前記属性情報に含まれるＧＰＳ情報を参照して、特定位置の撮影画像を前記ハイライトシーンとして選択する処理を行う構成である。

さらに、本発明の撮像装置の一実施態様において、前記複数の撮像部は３以上の撮像部によって構成され、前記記録制御部は、前記３以上の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行い、前記画像選択制御部は、前記属性情報に含まれる前記３以上の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う。

さらに、本発明の第２の側面は、
撮像装置において実行する画像処理方法であり、
撮像部が、複数視点からの画像を撮影する撮像ステップと、
記録制御部が、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行う記録制御ステップと、
画像選択制御部が、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行う画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行うステップである画像処理方法にある。

さらに、本発明の第３の側面は、
撮像装置において画像処理を実行させるプログラムであり、
撮像部に、複数視点からの画像を撮影させる撮像ステップと、
記録制御部に、前記複数の撮像部の各々において計測された被写体距離を撮影画像の属性情報として記録部に記録する処理を行わせる記録制御ステップと、
画像選択制御部に、前記属性情報に含まれる被写体距離情報を適用して、ハイライトシーン抽出処理を行わせる画像選択制御ステップを有し、
前記画像選択制御ステップは、
前記属性情報に含まれる前記複数の撮像部各々に対応する複数の被写体距離を適用して被写体が画像フレームの中央領域に位置するか否かを判定し、中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行わせるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例によれば、複数視点からの撮影画像を記録する撮像装置において、各視点対応の撮像部において計測した被写体距離情報を撮影画像の属性情報として記録する。またハイライトシーン選択処理に際して、複数の撮像部からの被写体距離情報を適用して被写体が撮影画像の中央部に位置するか否かを判定し、中央部に位置すると判定された場合にハイライトシーンとして選択する。また、被写体が近づいているか否かを判定し、近づいている場合にハイライトシーンとして選択する。本構成によれば立体（３Ｄ）画像表示に最適なハイライトシーン選択が実現される。

本発明の一実施例に係る撮像装置の構成例について説明する図である。 本発明の一実施例に係る撮像装置のハードウェア構成例について説明する図である。 被写体距離の計測処理例について説明する図である。 ハイライトシーン選択基準の一例について説明する図である。 ハイライトシーン選択基準の一例について説明する図である。 ハイライトシーン選択基準の一例について説明する図である。 ハイライトシーン選択基準の例について説明する図である。 本発明の一実施例に係る撮像装置の実行するハイライトシーン選択処理のシーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る撮像装置の記録データのディレクトリ構成例について説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 本発明の一実施例に係る撮像装置の実行するハイライトシーン選択処理のシーケンスについて説明するフローチャートを示す図である。 ハイライトシーン選択情報に記録されるタイムオフセットについて説明する図である。 本発明の一実施例に係る撮像装置の記録データのディレクトリ構成例について説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 ハイライトシーン選択情報に記録されるタイムオフセットについて説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 ハイライトシーン選択情報の記録例について説明する図である。 撮像装置における距離計測処理例について説明する図である。 撮像装置における被写体距離の計測およびハイライトシーン選択処理例について説明する図である。

以下、図面を参照しながら本発明の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成例について
２．被写体距離に基づくハイライトシーン抽出処理について
３．ハイライトシーン選択情報の記録構成例について
３−ａ．クリップ情報ファイルに対するハイライトシーン選択情報の記録例
３−ｂ．プレイリストファイルに対するハイライトシーン選択情報の記録例
４．ハイライトシーン選択情報として利用するその他の情報例について
５．多眼構成の撮像装置の場合の被写体距離情報の取得とハイライトシーン選択の例について

［１．撮像装置の構成例について］
まず、本発明の一実施例に係る撮像装置の構成例について図１以下を参照して説明する。

図１は、本発明の一実施例に係る撮像装置の外観を示す図である。本発明に係る撮像装置１００は、複数のレンズと撮像素子を有し、複数視点からの画像の撮影が可能な構成を持つ。すなわち立体画像表示処理に適用する異なる視点からの画像を撮影することが可能な構成である。

図１には、本発明の一実施例に係る撮像装置の外観として（ａ）前面図と、（ｂ）背面図を示している。（ａ）前面図に示すように、撮像装置１００は、視点からの画像を撮影するための２つのレンズ、すなわちレンズ１０１，レンズ１０２を有している。シャッター１０３の操作により、画像の撮影が実行される。なお、撮像装置１００は、静止画のみならず動画の撮影も可能である。

撮像装置１００は、静止画撮影モードと動画撮影モードのモード設定が可能であり、静止画撮影モードにおいては、シャッター１０３を１回押下することで静止画の撮影を行う。動画撮影モードに設定した場合は、シャッター１０３を１回押下することで動画像の記録を開始し、次にシャッター１０３を１回押下することで動画像の記録を終了する。静止画、動画とも、レンズ１０１，レンズ１０２を介した異なる視点からの画像が個別に撮像装置１００内のメモリに記録されることになる。

また、撮像装置１００は、通常画像撮影モード（２Ｄモード）と、立体画像撮影モード（３Ｄモード）との切り換えが可能であり、通常画像撮影モードの場合は、一般的なカメラと同様、レンズ１０１，レンズ１０２のいずれか一方のレンズのみを利用した撮影が実行される。

図１の（ｂ）背面図に示すように、撮像装置１００の背面には、撮影画像の表示処理、あるいはユーザインタフェースとして利用される表示部１０４が設けられている。表示部１０４には、撮像装置による現撮影画像としてのスルー画や、メモリや記録媒体に記録された画像が表示される。表示画像は、静止画、動画、立体画像表示などユーザの指示に応じて切り換えることができる。

さらに、メモリや記録媒体に記録された動画像の表示態様としてハイライトシーン表示を行うことができる。これは動画像を構成する多数の画像フレームから、予め規定された所定のアルゴリズムに従ってハイライトシーンを抽出し、抽出したハイライトシーン画像のみを順次、表示する処理である。ハイライトシーンの抽出手法については、後段で詳細に説明する。

図２は、本発明の一実施例に係る撮像装置１００のハードウェア構成を示す図である。第１撮像部（Ｌ）１５１は、図１に示すレンズ１０１，第２撮像部（Ｒ）１５２は、図１に示すレンズ１０２を備えた画像撮影部に相当する。各撮像部１５１，１５２はレンズと撮像素子を備え、レンズを介して取得された被写体画像が撮像素子に入力され、光電変換による電気信号を出力する。立体画像撮影モード（３Ｄモード）の撮影時には、第１撮像部（Ｌ）１５１は左眼用画像（Ｌ画像）、第２撮像部（Ｒ）１５２は右眼用画像（Ｒ画像）を撮影する。

各撮像部１５１，１５２の出力は撮像制御部１５３を介してシステム制御部１５４に入力される。システム制御部１５６は、撮影モード、例えば静止画モード、動画モード、２次元モード、３次元モードの各設定モードに応じて、各撮像部からの入力信号に対する処理態様を設定して撮像装置の各構成部の制御を行い、処理の結果として生成された記録データを記録媒体１６６、あるいは外部記録媒体１６７に記録する。システム制御部１５６はこのように記録制御部として機能する。

例えば、動画像記録に際しては、動画像処理部１６３において、ＭＰＥＧ２ＴＳデータへのエンコード処理が実行され、静止画記録に際しては、静止画像処理部１６４においてＪＰＥＧデータへのエンコード処理などが行われる。また、３次元モードの画像撮影時には動画像処理部１６３、または静止画像処理部１６４において、各撮像部１５１，１５２の撮像画像に基づく３次元画像表示用の画像データ生成が行われる。例えば動画像のデータとしてはＡＶＣＨＤフォーマットに従った記録データの生成が行われる。

なお、立体画像（３Ｄ）画像として動画データが記録される場合は、第１撮像部（Ｌ）１５１と第２撮像部（Ｒ）１５２とにおいて撮影された２つの画像がペア画像として記録される。表示処理に際しては、これらのペア画像が交互に表示される。ユーザはシャッター式眼鏡を装着して表示画像を観察することで、第１撮像部（Ｌ）の撮影画像を左眼のみで観察し、第２撮像部（Ｒ）１５２の撮影画像を右眼のみで観察する。この様な処理によって立体画像（３Ｄ）が観察できる。なお、これは３Ｄ画像記録表示方式の一例であり、この他の方式を適用してもよい。

なお、各撮像部１５１，１５２の撮像画像のメディア（記録媒体１６６や外部記録媒体１６７）に対する記録処理に際しては、各画像フレームの属性情報も併せて記録される。この属性情報には、焦点距離から算出した被写体距離情報が含まれる。なお、撮像装置は、オートフォーカス機能を備えており、各撮像部１５１，１５２において個別に実行される自動焦点調整処理に際して各撮像部１５１，１５２から被写体までの距離が逐次計測される。

計測距離情報は、距離情報記録部１６１に随時格納される。撮影処理が実行された場合は、被写体距離情報が各撮影画像に対応する属性情報として記録される。すなわち、撮像画像を記録するメディア（記録媒体１６６や外部記録媒体１６７）に画像に併せて記録される。具体的な記録構成については後段で詳細に説明する。

なお、撮像装置１００は、複数の撮像部１５１，１５２を有しており、焦点距離や被写体距離は、それぞれの撮像部対応の距離として個別に計測される。左側（Ｌ）レンズによって撮影されたＬ画像に対応する被写体距離を［被写体距離Ｌ］、右側（Ｒ）レンズによって撮影されたＲ画像に対応する被写体距離を［被写体距離Ｒ］とする。これらの情報が画像に対応する属性情報として記録される。

なお、音声情報についても、マイク１５４によって取得されＡ／Ｄ変換部１５５においてデジタル変換なされた後、画像に対応する音声情報としてメディア（記録媒体１６６や外部記録媒体１６７）に記録される。

表示部１６０は、スルー画やメディア（記録媒体１６６や外部記録媒体１６７）に記録された画像の表示、その他、設定情報の表示処理などに利用される。スピーカ１５９は、記録された音声情報などを出力する。例えばメディア（記録媒体１６６や外部記録媒体１６７）に記録された画像データの再生処理に際して、記録されたデジタルデータがＤ／Ａ変換部１５８においてアナログ変換され出力される。

ユーザインタフェース１５７は、ユーザによる操作部であり、例えば撮影開始、終了等の指示情報の入力の他、静止画モード、動画モード２Ｄモード、３Ｄモードなどの撮影モードの設定、さらに、表示部１６０における画像の表示態様の指定などの指示情報などの入力部として利用される。なお、表示部１６０に対する表示処理は、静止画表示、動画表示、２Ｄ表示、３Ｄ表示、さらにハイライトシーン表示など、様々な表示態様がある。

なお、後段で詳細に説明するが、記録媒体に記録された動画像などの撮影画像から特定のハイライトシーンのみを選択して表示するハイライトシーン表示を行う場合は、撮影画像に対応して記録された属性情報を参照して特定の画像を選択する処理が行われる。このハイライトシーン選択表示処理はシステム制御部１５６の制御によって行われる。すなわちシステム制御部１５６は、画像選択制御部、表示制御部としても機能する。

メモリ１６５は、撮像装置において撮影された画像の一時記憶領域や、撮像装置において実行するプログラム、システム制御部１５６や他の各処理部における処理に適用するパラメータ、データ処理のワークエリアなどに利用されるメモリである。

ＧＰＳユニット１６２は、ＧＰＳ衛星との通信により撮像装置の位置情報を取得する。取得された位置情報は、撮影画像の各画像に対応する属性情報として、メディア（記録媒体１６６や外部記録媒体１６７）に記録される。

［２．被写体距離に基づくハイライトシーン抽出処理について］
前述したように、本発明の撮像装置１００は、複数の撮像部１５１，１５２の焦点距離として計測される被写体距離情報を、各撮影画像の属性情報として画像に併せて記録する。なお、被写体距離の計測は、予め規定された所定のサンプリング間隔で実行される。図３を参照して被写体距離の計測処理例について説明する。

撮像装置は、第１撮像部（Ｌ）１５１のレンズの焦点距離を被写体距離Ｌとして計測し、第２撮像部（Ｒ）１５２のレンズの焦点距離を被写体距離Ｒとして、それぞれ計測する。図３は、サンプリング間隔Ｔ＝３秒として、各サンプリングタイムごとの距離計測結果をグラフとして示した図である。

図３（ａ）が被写体距離Ｌ、図３（ｂ）が被写体距離Ｒである。横軸が時間、縦軸が被写体距離を示している。本発明の撮像装置は、これらの被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）を撮影画像の属性情報として記録する。
これらの被写体距離情報を用いて、ハイライトシーンの自動抽出処理を行う。

動画像を構成する多数の画像フレームから、ハイライトシーンを選択するためには、予め規定したハイライトシーン選択基準が適用される。図４以下を参照して、本発明の撮像装置において適用するハイライトシーン選択基準について説明する。

本発明の撮像装置は、ハイライトシーン選択処理に際して、１つまたは複数の選択基準を適用する。図４を参照してハイライトシーン選択基準の一例について説明する。

図４に示すハイライトシーン選択基準１は、
「被写体距離Ｌと被写体距離Ｒの差が小さいこと」
である。この条件を満足する画像は、被写体が画面の中央に位置すると判断してハイライトシーンとして抽出するものである。

図４には、
（１）ＮＧシーン
（２）ハイライトシーン
（３）ＮＧシーン
これらの３種類の画像フレームを示している。

（１）ＮＧシーンは、被写体が画面左端に位置している。この場合、
被写体距離Ｌ＜被写体距離Ｒ
となり、ハイライトシーンの画像として選択しない。
（３）ＮＧシーンは、被写体が画面右端に位置している。この場合、
被写体距離Ｌ＞被写体距離Ｒ
となり、ハイライトシーンの画像として選択しない。
（２）ハイライトシーンは、被写体が画面中央に位置している。この場合、
被写体距離Ｌ≒被写体距離Ｒ
となり、ハイライトシーンの画像として選択する。

なお、実際の処理としては、既定の閾値を適用して、被写体距離Ｌと被写体距離Ｒとの差分が閾値以下である、すなわち、
｜被写体距離Ｌ−被写体距離Ｒ｜＜閾値
上記式を満足する場合に、その画像フレームをハイライトシーンとして選択する処理を行うことが可能である。

具体的処理例について、図５を参照して説明する。被写体距離Ｌと被写体距離Ｒの値の設定態様としては、図５（１ａ）〜（１ｃ）の３パターンが想定される。すなわち、
（１ａ）被写体距離Ｌ＜被写体距離Ｒ
（１ｂ）被写体距離Ｌ≒被写体距離Ｒ
（１ｃ）被写体距離Ｌ＞被写体距離Ｒ
これら３パターンである。

本発明の撮像装置は、このような様々なパターンの被写体距離情報を用いて、図５（２）に示すような被写***置判定処理を実行してハイライトシーン選択を行う。すなわち、図５（２）に示すように、以下のような選択処理を行う。
｜被写体距離Ｌ｜＞｜被写体距離Ｒ｜−ΔＤ２：画面中央に被写体がある（＝（１ｂ））と判断し、ハイライトシーンとして選択
｜被写体距離Ｌ｜＜｜被写体距離Ｒ｜−ΔＤ２：画面左寄りに被写体がある（＝（１ａ））と判断しＮＧ、ハイライトシーンとして選択しない
｜被写体距離Ｒ｜＞｜被写体距離Ｌ｜−ΔＤ２：画面中央に被写体がある（＝（１ｂ））と判断し、ハイライトシーンとして選択
｜被写体距離Ｒ｜＜｜被写体距離Ｌ｜−ΔＤ２：画面右寄りに被写体がある（＝（１ｃ））と判断しＮＧ、ハイライトシーンとして選択しない
このような判定処理によってハイライトシーン選択を実行する。

本発明の撮像装置において適用する、もう１つのハイライトシーン選択基準の一例について図６を参照して説明する。

図６に示すハイライトシーン選択基準２は、
「被写体が画面中央を近づいてくること」
である。この条件を満足する画像は、被写体が次第に撮像装置に向かって近づいていることを示し、撮影者が注目していると判断してハイライトシーンとして抽出するものである。

図６には、
（１）ハイライトシーン（近づく被写体）
（２）ＮＧシーン（遠ざかる被写体）
これらの動画像フレームの例を示している。
それぞれ上からフレームｆ０１〜ｆ０３であり、時間経過に従ったフレームを示している。

撮像装置は、動画像を構成する連続するフレームに対応して記録された属性情報中の距離情報を取得し、被写体距離がフレームの進行に伴って小さくなっているフレーム群を選択し、距離が最短になったシーンの前後数秒間のフレームをハイライトシーンとして抽出するといった処理を行う。なお、この場合のハイライトシーンは、短時間（数秒）の動画像となる。

図７に、本発明において採用されるハイライトシーン選択基準の例をまとめて示す。本発明において採用されるハイライトシーン選択基準は、例えば以下の基準である。
選択基準１：被写体距離Ｌ／Ｒの差が小さい場合（規定閾値ΔＤ２より小さい）、被写体が画面中央であると判断してハイライトシーンとする
選択基準２：被写体が画面中央を近づいてくるシーンをハイライトシーンとする
選択基準３：被写体が中央にある時間が、ｔ秒以上続く場合に、そこから５秒をハイライトシーンとする。
選択基準４：被写体距離が予め規定した閾値ΔＤ１より小さい場合、そこを中心に前後５秒をハイライトシーンとする。
選択基準５：被写体距離が大きく変化したら、そこから５秒をハイライトシーンとする。

本発明の撮像装置は、例えばこれらの５つの選択基準を適用してハイライトシーン抽出を行う。なお、これら５つの１つ、または複数を選択的に利用する構成としてもよい。なお、上記の選択基準１は、図４、図５を参照して説明した選択基準であり、選択基準２は、図６を参照して説明した選択基準に対応する。

なお、図７に示す選択基準１〜５のいずれも、撮影画像に対応して記録される属性情報中の距離情報を適用したものである。本発明の撮像装置は、このように距離情報を用いてハイライトシーン選択を行う。

ハイライトシーンの選択処理は、例えばユーザによるハイライトシーン表示処理の実行指示に応じて行われる。ユーザは、ユーザインタフェースを介してハイライトシーン表示処理を実行させる。なお、ハイライトシーンの選択処理に際して、上述の選択基準１〜５のいずれを適用するかについてもユーザが任意に選択できる。

例えばユーザによるハイライトシーン再生処理が指示に応じてハイライトシーンの選択処理が実行され、選択基準を適用して選択されたハイライトシーンのみが表示部に表示される。

本発明の撮像装置において実行するハイライトシーン選択処理のシーケンス例について、図８に示すフローチャートを参照して説明する。図８に示すフローは、選択基準１と選択基準４を適用してハイライトシーンの選択を実行した場合のシーケンスを示している。この処理は、システム制御部１５６の制御の下に実行される。

なお、図８に示す例は、ハイライトシーン選択情報としての距離情報がクリップ情報ファイルに記録された場合の例である。図８のフローの説明の前に、動画像データの記録に際して設定されるファイルについて説明する。図９に動画像データのメディアに対する記録構成例としてＢＤＭＶディレクトリを示す。これはＡＶＣＨＤフォーマットに従ったディレクトリ構成である。

図９に示すように、ＢＤＭＶディレクトリには、プレイリストファイル（ＰＬＡＹＬＩＳＴ）、クリップ情報ファイル（ＣＬＰＩＮＦ）、ストリームファイル（ＳＴＲＥＡＭ）、インデックスファイル（ＩＮＤＥＸ．ＢＤＭ）、ムービーオブジェクトファイル（ＭＯＶＩＥＯＢＪ．ＢＤＭ）の各ファイルが記録される。

プレイリストファイル（ＰＬＡＹＬＩＳＴ）は、ユーザに見せるタイトルに対応して設けられ、少なくとも１以上のプレイアイテム（ＰｌａｙＩｔｅｍ）で構成される再生リストである。各プレイアイテムは、クリップに対する再生開始点（ＩＮ点）と再生終了点（ＯＵＴ点）を持つことで、その再生区間を指定している。プレイリスト内の複数のプレイアイテムを時間軸上に並べることで、それぞれの再生区間の再生順序を指定することができる。

クリップ情報ファイル（ＣＬＰＩＮＦ）は、動画像データを格納したストリームファイル（ＳＴＲＥＡＭ）と対で存在し、実際のストリームを再生する上で必要となるストリームに関する情報が記載されたファイルである。
ストリームファイル（ＳＴＲＥＡＭ）は、再生対象となる動画像データを格納したファイルである。ＭＰＥＧデータとして格納されている。

インデックスファイル（ＩＮＤＥＸ．ＢＤＭ）は、管理情報ファイルである。ユーザに見せるタイトル、タイトル対応の再生プログラムであるムービーオブジェクトの指定情報等を管理している。
ムービーオブジェクトファイル（ＭＯＶＩＥＯＢＪ．ＢＤＭ）は、タイトル対応の再生プログラムであり、再生に適用するプレイリストを管理している。

図８に示すフローチャートの処理は、クリップ情報ファイル（ＣＬＩＰＩＮＦ）にハイライトシーン選択情報、すなわち距離情報が記録され、クリップ情報ファイル（ＣＬＩＰＩＮＦ）を適用してハイライトシーンの選択を行う例である。
図８に示すフローチャートの各ステップの処理について説明する。

ステップＳ１０１において、クリップ情報ファイルを取得してオープンする。なお、クリップ情報ファイルには、図１０に示すようなメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）が設定されており、この領域にハイライトシーン選択情報３０１が記録されている。

ステップＳ１０２では、図１０に示すメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）のハイライトシーン選択情報３０１に設定されたインデックス情報を取得する。ハイライトシーン選択情報３０１には、各画像に対するインデックス情報が設定され、各インデックスに対応して距離情報、すなわち、被写体距離Ｌ、被写体距離Ｒが記録されている。

図１０に示すように、ハイライトシーン選択情報３０１には、
タイムオフセット
被写体距離Ｌ、
被写体距離Ｒ、
これらの情報が記録されている。
タイムオフセットはクリップ情報ファイルに規定されるクリップのプレゼンテーションタイムスタートタイムからのオフセット時間である。［ＴＩＭＥ＿ＯＦＦＳＥＴ］フィールドに記録される。この情報については、後段で説明する。
被写体距離Ｌは、第１撮像部（Ｌ）１５１の焦点距離に対応する被写体距離情報であり、［ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ］フィールドに記録される。
被写体距離Ｒは、第２撮像部（Ｒ）１５２の焦点距離に対応する被写体距離情報であり、［ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ］フィールドに記録される。

なお、前述したように、立体画像（３Ｄ）画像として動画データが記録される場合は、第１撮像部（Ｌ）１５１と第２撮像部（Ｒ）１５２とにおいて撮影された２つの画像が１対のペア画像として記録される。図１０に示すクリップ情報ファイル（ＣＬＩＰＩＮＦ）のハイライトシーン選択情報３０１にはこれらの１対のペア画像に対応する情報が記録されることになる。

フローのステップＳ１０２において、ハイライトシーン選択情報３０１に含まれるインデックスを１つ取得してステップＳ１０３に進む。ステップＳ１０３では、図１０に示すハイライトシーン選択情報３０１の１つのインデックスの登録情報を取り出して、記録された被写体距離Ｌ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ）を読み込む。

ステップＳ１０４では、ステップＳ１０３で取得した被写体距離Ｌ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ）と予め設定した閾値ΔＤ１を比較する。
被写体距離Ｌ＜ΔＤ１・・・（式１）
この式（式１）は、図７を参照して説明した選択基準４に対応するハイライトシーン選択基準の適用処理である。
上記式が成立する場合は、ステップＳ１０５に進む。上記式が成立しない場合は、ステップＳ１０９に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ１０２に戻り、次の未処理インデックスの処理に移行する。

上記式が成立し、ステップＳ１０５に進むと、図１０に示すハイライトシーン選択情報３０１の１つのインデックスの登録情報を取り出して、記録された被写体距離Ｒ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ）を読み込む。

ステップＳ１０６では、ステップＳ１０５でクリップ情報ファイルから取得した被写体距離Ｒ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ）と予め設定した閾値ΔＤ１を比較する。
被写体距離Ｒ＜ΔＤ１・・・（式２）
この式（式２）も、図７を参照して説明した選択基準４に対応するハイライトシーン選択基準の適用処理である。

上記式が成立する場合は、ステップＳ１０７に進む。上記式が成立しない場合は、ステップＳ１０９に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ１０２に戻り、次の未処理インデックスの処理に移行する。

上記式が成立し、ステップＳ１０７に進むと、被写体距離Ｌと被写体距離Ｒとの差分とあらかじめ設定した閾値ΔＤ２との比較により、被写体が画面（画像フレーム）の中央に位置するか否かを判定する。すなわち、
｜被写体距離Ｌ−被写体距離Ｒ｜＜ΔＤ２・・・（式３）
上記式（式３）が成立するか否かを判定する。

このステップＳ１０７の判定処理は、図７を参照して説明した選択基準１に対応するハイライトシーン選択基準の適用処理である。すなわち、図４、図５を参照して説明したハイライトシーン択基準の適用処理である。

上記式（式３）が成立する場合は、被写体距離Ｌと被写体距離Ｒとの差分が小さく、被写体がほぼ画面の中央に位置すると判定することができる。上記式（式３）が成立しない場合は、被写体距離Ｌと被写体距離Ｒとの差分が大きく、被写体が画面の端部に位置すると判定される。この場合は、ステップＳ１０９に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合はステップＳ１０２に戻り、次の未処理インデックスの処理に移行する。

上記式（式３）が成立する場合は、被写体距離Ｌと被写体距離Ｒとの差分が小さく、被写体がほぼ画面の中央に位置すると判定することができ、この場合は、ステップＳ１０８に進み、この画像をハイライトシーンとして選択する。なお、立体表示に適用する画像は、例えば左眼用画像と右眼用画像のペアが設定されており、その左右の両画像によって立体表示画像（３Ｄ画像）が提示されることになり、これらの画像がハイライトシーン画像として選定される。

また、動画像のハイライトシーン表示は、１つの静止画ではなく、例えば５秒間の動画像とするなど、短時間の動画をハイライトシーン動画として選択して表示する場合がある。このような設定の場合は、ステップＳ１０８において選択されたハイライトシーン画像を含む前後５秒間の画像をハイライトシーン画像として表示するといった処理が行われる。あるいは、ステップＳ１０８において選択されたハイライトシーン画像をスタート画像としてその後、５秒間の画像をハイライトシーンとして表示するといった設定でもよい。

ステップＳ１０８においてハイライトシーン画像の選択が行われると、ステップＳ１０９に進む。ステップＳ１０９では、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ１０２に戻り、次の未処理インデックスの処理に移行する。

ステップＳ１０９において、未処理インデックスが無いと判定されると、ハイライトシーン選択処理が終了する。このようにしてハイライトシーン選択処理が完了すると、ハイライトシーンとして選択されたインデックス番号に対応する画像が選択されてハイライトシーン表示処理が実行される。なお、前述したように選択画像の前後の画像を含む短時間の動画としてハイライトシーン画像表示を行う構成としてもよい。

なお、ハイライトシーンとして選択されたインデックス番号は、管理情報ファイルなどに記録して保存する構成としてもよい。このような設定とすれば、例えば図８に示すフローに従ったハイライトシーン選択処理を一度実行するのみで、その後は管理情報を参照して取得されるインデックス番号に従ってハイライトシーン画像を選択して表示することが可能となる。

図８を参照して説明したフローは、図７に示す選択基準１と選択基準４を適用してハイライトシーンの選択を実行した場合のシーケンスである。
次に、図１１に示すフローを参照して、図７に示す選択基準１と、選択基準２と選択基準４を適用してハイライトシーンの選択を実行した場合のシーケンスについて説明する。すなわち、図８に示すフローにさらに、図６を参照して説明したように、被写体が近づいている場合に、ハイライトシーンとする処理（選択基準２）を含めたものである。

このように図１１に示すフローは、選択基準１と選択基準２と選択基準４を適用してハイライトシーンの選択を実行した場合のシーケンスを示している。この処理は、システム制御部１５６の制御の下に実行される。

なお、図１１に示す例は、ハイライトシーン選択情報としての距離情報がクリップ情報ファイルに記録された場合の例である。図１１に示すフローチャートの処理は、クリップ情報ファイル（ＣＬＩＰＩＮＦ）にハイライトシーン選択情報、すなわち距離情報が記録され、クリップ情報ファイル（ＣＬＩＰＩＮＦ）を適用してハイライトシーンの選択を行う例である。図１１に示すフローチャートの各ステップの処理について説明する。

ステップＳ２０１において、クリップ情報ファイルを取得してオープンする。なお、クリップ情報ファイルには、先に説明した図１０に示すメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）が設定されており、この領域にハイライトシーン選択情報３０１が記録されている。

ステップＳ２０２では、内部変数としての過去被写体距離（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿ＰＡＳＴ）＝無限遠とする初期化処理を行う。
ステップＳ２０３では、図１０に示すメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）のハイライトシーン選択情報３０１に設定されたインデックス情報を取得する。ハイライトシーン選択情報３０１には、各画像に対するインデックス情報が設定され、各インデックスに対応して距離情報、すなわち、被写体距離Ｌ、被写体距離Ｒが記録されている。

フローのステップＳ２０３において、ハイライトシーン選択情報３０１に含まれるインデックスを１つ取得してステップＳ２０４に進む。ステップＳ２０４では、図１０に示すハイライトシーン選択情報３０１の１つのインデックスの登録情報を取り出して、記録された被写体距離Ｌ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ）を読み込む。

ステップＳ２０５では、ステップＳ２０４で取得した被写体距離Ｌ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ）と予め設定した閾値ΔＤ１を比較する。
被写体距離Ｌ＜ΔＤ１・・・（式１）
この式（式１）は、図７を参照して説明した選択基準４に対応するハイライトシーン選択基準の適用処理である。
上記式が成立する場合は、ステップＳ２０６に進む。上記式が成立しない場合は、ステップＳ２１１に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ２１２に進み、内部変数の更新処理を行う。すなわち、過去被写体距離（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿ＰＡＳＴ）＝（被写体距離Ｌ＋被写体距離Ｒ）／２として更新する。なお、被写体距離Ｌまたは被写体距離Ｒのいずれかが得られていない場合は、過去被写体距離（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿ＰＡＳＴ）＝無限遠とする。さらに、ステップＳ２０３に戻り、次の未処理インデックスの処理に移行する。

上記式（式１）が成立し、ステップＳ２０６に進むと、図１０に示すハイライトシーン選択情報３０１の１つのインデックスの登録情報を取り出して、記録された被写体距離Ｒ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ）を読み込む。

ステップＳ２０７では、ステップＳ２０６でクリップ情報ファイルから取得した被写体距離Ｒ（ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ）と予め設定した閾値ΔＤ１を比較する。
被写体距離Ｒ＜ΔＤ１・・・（式２）
この式（式２）も、図７を参照して説明した選択基準４に対応するハイライトシーン選択基準の適用処理である。

上記式が成立する場合は、ステップＳ２０８に進む。上記式が成立しない場合は、ステップＳ２１１に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ２１２で内部変数の更新処理を実行して、ステップＳ２０３に戻り、次の未処理インデックスの処理に移行する。

上記式（式２）が成立し、ステップＳ２０８に進むと、被写体距離Ｌと被写体距離Ｒとの差分とあらかじめ設定した閾値ΔＤ２との比較により、被写体が画面（画像フレーム）の中央に位置するか否かを判定する。すなわち、
｜被写体距離Ｌ−被写体距離Ｒ｜＜ΔＤ２・・・（式３）
上記式（式３）が成立するか否かを判定する。

このステップＳ２０８の判定処理は、図７を参照して説明した選択基準１に対応するハイライトシーン選択基準の適用処理である。すなわち、図４、図５を参照して説明したハイライトシーン択基準の適用処理である。

上記式（式３）が成立する場合は、被写体距離Ｌと被写体距離Ｒとの差分が小さく、被写体がほぼ画面の中央に位置すると判定することができる。この場合は、ステップＳ２０９に進む。上記式（式３）が成立しない場合は、被写体距離Ｌと被写体距離Ｒとの差分が大きく、被写体が画面の端部に位置すると判定される。この場合は、ステップＳ２１１に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ２１２で内部変数の更新処理を実行して、ステップＳ２０３に戻り、次の未処理インデックスの処理に移行する。

上記式（式３）が成立する場合は、被写体距離Ｌと被写体距離Ｒとの差分が小さく、被写体がほぼ画面の中央に位置すると判定することができ、この場合は、次にステップＳ２０９において、下式（式４）が成立するか否かを判定する。
（被写体距離Ｌ＋被写体距離Ｒ）／２＜過去被写体距離 ・・・（式４）
上記式は、被写体が画像フレームの進行（時間経過）に伴い、近づいていることを示す。すなわち図６（１）の近づく被写体シーンが得られていることを示す。

この場合は、ステップＳ２１０に進み。この画像をハイライトシーンとして選択する。上記式（式３）が成立しない場合は、ステップＳ２１１に進み、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ２１２で内部変数の更新処理を実行して、ステップＳ２０３に戻り、次の未処理インデックスの処理に移行する。

なお、前述したように、立体表示に適用する画像は、例えば左眼用画像と右眼用画像のペアが設定されており、その左右の両画像によって立体表示画像（３Ｄ画像）が提示されることになり、これらの画像がハイライトシーン画像として選定される。

また、動画像のハイライトシーン表示は、１つの静止画ではなく、例えば５秒間の動画像とするなど、短時間の動画をハイライトシーン動画として選択して表示する場合がある。このような設定の場合は、ステップＳ２１０において選択されたハイライトシーン画像を含む前後５秒間の画像をハイライトシーン画像として表示するといった処理が行われる。あるいは、ステップＳ２１０において選択されたハイライトシーン画像をスタート画像としてその後、５秒間の画像をハイライトシーンとして表示するといった設定でもよい。

ステップＳ２１０においてハイライトシーン画像の選択が行われると、ステップＳ２１１に進む。ステップＳ２１１では、未処理インデックスの有無を判定し、未処理インデックスがある場合は、ステップＳ２１２で内部変数の更新処理を実行して、ステップＳ２０３に戻り、次の未処理インデックスの処理に移行する。

ステップＳ２１１において、未処理インデックスが無いと判定されると、ハイライトシーン選択処理が終了する。このようにしてハイライトシーン選択処理が完了すると、ハイライトシーンとして選択されたインデックス番号に対応する画像が選択されてハイライトシーン表示処理が実行される。なお、前述したように選択画像の前後の画像を含む短時間の動画としてハイライトシーン画像表示を行う構成としてもよい。

なお、ハイライトシーンとして選択されたインデックス番号は、管理情報ファイルなどに記録して保存する構成としてもよい。このような設定とすれば、例えば図８に示すフローに従ったハイライトシーン選択処理を一度実行するのみで、その後は管理情報を参照して取得されるインデックス番号に従ってハイライトシーン画像を選択して表示することが可能となる。

［３．ハイライトシーン選択情報の記録構成例について］
先に説明したように、ハイライトシーンの選択処理に適用する情報は、例えば図１０に示すクリップ情報ファイルのメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）に記録される。しかし、ハイライトシーン選択情報は図１０に示すようなクリップ情報ファイルに限らず、その他のファイルに記録する構成としてもよい。以下、
（ａ）クリップ情報ファイルに対するハイライトシーン選択情報の記録例
（ｂ）プレイリストファイルに対するハイライトシーン選択情報の記録例
これらの記録例について説明する。

（３−ａ．クリップ情報ファイルに対するハイライトシーン選択情報の記録例）
再度、図１０を参照して、ハイライトシーン選択情報３０１の詳細について説明する。図１０に示すように、ハイライトシーン選択情報３０１には、
タイムオフセット
被写体距離Ｌ、
被写体距離Ｒ、
これらの情報が記録される。
これらの情報は、画像に対応するインデックス番号ごとに個々に記録される。

タイムオフセットは、クリップのプレゼンテーションタイムスタートタイムからのオフセット時間である。図１２を参照してタイムオフセットについて説明する。図１２には、プレイリストと、プレイリストに含まれるプレイアイテム、さらにクリップ情報ファイルによって定義されるクリップとの対応関係を示している。

クリップ情報ファイルはクリップに関する情報を登録したファイルであり、１つのクリップが１つのストリームファイル（ＳＴＲＥＡＭ）に１対１の関係で対応付けられている。

図１２に示すクリップ、すなわち、（Ｃｌｉｐ＃ｓｒｃ１−１）（Ｃｌｉｐ＃ｓｒｃ２−１）（Ｃｌｉｐ＃ｓｒｃ１−２）（Ｃｌｉｐ＃ｓｒｃ２−２）、これらの各々が個別のストリームファイル（ＳＴＲＥＡＭ）に１対１の関係で対応付けられている。

先に、図９を参照して説明したが、プレイリスト(ＰｌａｙＬｉｓｔ)は、ユーザに見せるタイトルに対応して設けられ、少なくとも１以上のプレイアイテム（ＰｌａｙＩｔｅｍ）で構成される再生リストである。各プレイアイテム(ＰｌａｙＩｔｅｍ)は、クリップ(Ｃｌｉｐ)に対する再生開始点（ＩＮ点）と再生終了点（ＯＵＴ点）を持つことで、その再生区間を指定している。例えば図１２に示すプレイリストマーク（ＰｌａｙＬｉｓｔＭａｒｋ）によって、再生区間としてのチャプタが任意に設定できる。プレイリストマーク（ＰｌａｙＬｉｓｔＭａｒｋ）やチャプタはユーザによる編集処理によって任意の位置に設定できる。

図１２に示すインデックスｐ〜ｔ（Ｉｎｄｅｘ＃ｐ〜＃ｔ）の各々はハイライトシーンとして選択された画像に対応するインデックス番号である。
これらの各インデックスは、図１０に示すクリップ情報ファイルのメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）に記録されるハイライトシーン選択情報３０１中のインデックス番号に対応する。

ハイライトシーン選択情報３０１中の記録情報であるタイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）は、クリップのプレゼンテーションタイムスタートタイムからのオフセット時間であり、図１２に示すように各クリップの先頭からのオフセットに対応している。

ハイライトシーン再生処理を行う場合、図１０に示すハイライトシーン選択情報３０１中の記録情報であるタイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）を参照して、クリップ中のインデックス位置を特定し、特定したクリップのインデックス位置に対応する画像データをストリームファイル(ＳＴＲＥＡＭ)から取り出すことができる。

（３−ｂ．プレイリストファイルに対するハイライトシーン選択情報の記録例）
被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）等のハイライトシーン選択情報は、クリップ情報ファイルに限らず、その他のファイルに格納する設定としてもよい。図１３以下を参照してプレイリストファイルにハイライトシーン選択情報を記録する例について説明する。

図１３は、先に図９を参照して説明したと同様のＢＤＭＶディレクトリを示している。ＢＤＭＶディレクトリには、プレイリストファイル（ＰＬＡＹＬＩＳＴ）、クリップ情報ファイル（ＣＬＰＩＮＦ）、ストリームファイル（ＳＴＲＥＡＭ）、インデックスファイル（ＩＮＤＥＸ．ＢＤＭ）、ムービーオブジェクトファイル（ＭＯＶＩＥＯＢＪ．ＢＤＭ）の各ファイルが記録される。

本例では、プレイリストファイル（ＰＬＡＹＬＩＳＴ）にハイライトシーン選択情報、すなわち距離情報を記録する。先に図１０を参照して説明したクリップファイル情報と同様、図１４に示すように、プレイリストファイル（ＰＬＡＹＬＩＳＴ）にもメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）が設定されており、このメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）に、図１４に示すようにハイライトシーン選択情報３０２を記録する。

図１４に示すように、ハイライトシーン選択情報３０２には、
タイムオフセット
被写体距離Ｌ、
被写体距離Ｒ、
これらの情報が記録される。
これらの情報は、画像に対応するインデックス番号ごとに個々に記録される。

被写体距離Ｌは、第１撮像部（Ｌ）１５１の焦点距離に対応する被写体距離情報である。
被写体距離Ｒは、第２撮像部（Ｒ）１５２の焦点距離に対応する被写体距離情報である。
ただし、本例において、タイムオフセットは、先のクリップ情報ファイルに対する記録例とは異なり、プレイアイテム（ＰｌａｙＩｔｅｍ）のインタイム(ＩｎＴｉｍｅ)からのオフセット時間が記録される。

このオフセット時間について図１５を参照して説明する。図１５は、プレイリストと、プレイリストに含まれるプレイアイテムとの対応関係を示している。プレイリスト(ＰｌａｙＬｉｓｔ)は、ユーザに見せるタイトルに対応して設けられ、少なくとも１以上のプレイアイテム（ＰｌａｙＩｔｅｍ）で構成される再生リストである。

図１５に示すインデックスｐ〜ｔ（Ｉｎｄｅｘ＃ｐ〜＃ｔ）の各々はハイライトシーンとして選択された画像に対応するインデックス番号である。
これらの各インデックスは、図１４に示すプレイリストファイルのメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）に記録されるハイライトシーン選択情報３０２中のインデックス番号に対応する。

ハイライトシーン選択情報３０２中の記録情報であるタイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）は、プレイアイテム（ＰｌａｙＩｔｅｍ）のＩｎＴｉｍｅからのオフセット時間であり、図１５に示すように各プレイアイテムの先頭からのオフセットに対応している。

ハイライトシーン再生処理を行う場合、図１４に示すハイライトシーン選択情報３０２中の記録情報であるタイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）を参照して、インデックスのプレイアイテムにおける対応位置を特定し、特定したプレイアイテムのインデックス位置によって特定される画像データをストリームファイル(ＳＴＲＥＡＭ)から取り出すことができる。

［４．ハイライトシーン選択情報として利用するその他の情報例について］
前述した実施例では、ハイライトシーン選択情報として、被写体距離情報、すなわち被写体距離Ｌと被写体距離Ｒを記録する構成について説明した、以下では、これらの被写体距離情報と異なる情報をハイライトシーン選択情報として記録する処理例について説明する。

以下では、ハイライトシーン選択情報として記録するデータを以下のような設定とした例について説明する。
ａ．被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）
ｂ.顔認識情報
ｃ．ＧＰＳ計測位置情報
これらの各情報をハイライトシーン選択情報として記録し利用する。

図１６は、前述したクリップ情報ファイルまたはプレイリストファイルに設定されるメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）内に記録されたハイライトシーン選択情報の構成例を示している。

本実施例は、上記３種類の情報をメーカー用データ領域（ＭａｋｅｒＰｒｉｖａｔｅＤａｔａ）に記録することを可能とした実施例である。
ハイライトシーン選択情報は、インデックス番号に応じて上記ａ〜ｃのいずれかまたは複数の情報が記録される。

図１６に示すように、本実施例において、ハイライトシーン選択情報は、
タイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）
インデックスタイプ（ＩＮＤＥＸ＿ＴＹＰＥ）、
インデックスメタ情報（ＩＮＤＥＸ＿ＭＥＴＡ）、
これらの情報を含む構成である。

タイムオフセット（ＴＩＭＥ＿ＯＦＦＳＥＴ）は、ハイライトシーン選択情報の記録ファイルがクリップ情報ファイルである場合は、図１０、図１２を参照して説明したタイムオフセットと同様、クリップのプレゼンテーションタイムスタートタイムからのオフセット時間である。
また、ハイライトシーン選択情報の記録ファイルがプレイリストファイルである場合は、図１４、図１５を参照して説明したタイムオフセットと同様、プレイアイテム（ＰｌａｙＩｔｅｍ）のＩｎＴｉｍｅからのオフセット時間である。

インデックスタイプ（ＩＮＤＥＸ＿ＴＹＰＥ）は、次のデータエリア［インデックスメタ情報（ＩＮＤＥＸ＿ＭＥＴＡ）］に記録されるメタデータの種類を示す情報を記録するフィールドである。
インデックスタイプと、インデックスメタとの対応関係は以下の通りとなる。
インデックスタイプ=被写体距離
次のインデックスメタ情報フィールドに、被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）を記録する。
インデックスタイプ=顔認識情報
次のインデックスメタ情報フィールドに、顔認識情報を記録する。
インデックスタイプ＝ＧＰＳ情報
次のインデックスメタ情報フィールドに、ＧＰＳユニットによって計測された撮像装置の位置情報を記録する。

なお、１つのインデックス画像に上記３種類の情報をすべて記録する構成としてもよいし、いずれかの情報のみ、または２種類の情報を記録する構成としてもよい。１つのインデックス画像に３種類の情報をすべて記録する構成とする場合は、
インデックスタイプ＝被写体距離
インデックスメタ＝被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）
インデックスタイプ＝顔認識情報
インデックスメタ＝顔認識情報
インデックスタイプ＝ＧＰＳ情報
インデックスメタ＝ＧＰＳ計測位置情報
このような順で各情報を記録する。

各情報の詳細および記録態様について、図１７〜図１９を参照して説明する。
図１７は、インデックスタイプ＝被写体距離の場合のインデックスメタ情報の詳細と記録態様を説明する図である。インデックスタイプ＝被写体距離の場合は、前述した実施例において説明したと同様の情報がインデックスメタ情報として記録される。
すなわち、
被写体距離Ｌ、
被写体距離Ｒ、
これらの情報が記録される。
被写体距離Ｌは、第１撮像部（Ｌ）１５１の焦点距離に対応する被写体距離情報であり、［ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｌ］フィールドに記録される。
被写体距離Ｒは、第２撮像部（Ｒ）１５２の焦点距離に対応する被写体距離情報であり、［ＳＵＢＪＥＣＴＤＩＳＴＡＮＣＥ＿Ｒ］フィールドに記録される。

被写体距離の場合は両眼、すなわち各撮像部１５１，１５２において計測される距離値が独立しており、それぞれ有意義なのでレンズ数分、それぞれの被写体距離を記録する。なお、本実施例では２眼構成の場合について説明しているが、３眼など、３つ以上のレンズを有する３つ以上の撮像部を持つ多眼構成の場合、各撮像部において測定された距離情報をすべて記録する。すなわちレンズ数分、記録する。

図１８は、インデックスタイプ＝顔認識情報の場合のインデックスメタ情報の詳細と記録態様を説明する図である。インデックスタイプ＝顔認識情報の場合は、インデックスメタ情報として顔認識の有無、すなわち、撮影画像中に顔として認識される顔画像領域が含まれているか否かの顔あり、または顔なしの情報が記録される。なお、顔領域が含まれているか否かの判定処理は、図２に示すシステム制御部１５６内において実行される。システム制御部１５６は予め保持する顔画像の特徴情報を適用して、撮影画像にその特徴情報に一致または類似する領域が含まれ眼か否かを判別して顔領域の有無を判定する。

なお、各撮像部１５１，１５２において同時に撮影される画像の両画像から顔を認識するケースが想定される。このような場合、各画像の情報を個別に保持するのは記録容量の無駄になるので、例えば、いずれか一方の撮像部の撮影画像から顔画像が検出された場合はその検出情報を記録する。さらに、片方の撮像部の撮影画像から顔領域が検出された場合、所定時間（例えば５秒間）は他方の撮像部の撮影画像から顔が認識されてもメタデータとして記録しない。
このような設定で、有意義な顔認識情報のみをメタデータとして記録するといった処理を行う。

図１９は、インデックスタイプ＝ＧＰＳ情報の場合のインデックスメタ情報の詳細と記録態様を説明する図である。インデックスタイプ＝ＧＰＳ情報の場合は、インデックスメタ情報としてＧＰＳユニット１６２が計測した撮像装置の現在位置情報が記録される。

なお、ＧＰＳ情報の場合は単眼、多眼にかかわらず、撮像装置に対して、ある計測タイミングごとに１つの計測情報しか得られないので、レンズ数に関わらず、１計測時間ごとに１つの計測情報のみを記録する。

このように、ハイライトシーン選択情報として、
ａ．被写体距離情報（被写体距離Ｌ、被写体距離Ｒ）
ｂ.顔認識情報
ｃ．ＧＰＳ計測位置情報
これらの各情報を記録する。
ハイライトシーンを選択する場合は、ユーザの指定に応じて、例えば顔が認識された画像をハイライトシーンとして選択する処理や、特定の位置において撮影された画像のみをハイライトシーンとして選択して表示するといった処理が行われる。
システム制御部１５６が、これらの各情報に応じてハイライトシーン選択処理を実行することになる。

なお、上記のａ，ｂ，ｃの各情報を適宜、組み合わせて利用してハイライトシーンを選択する構成としてもよい。
例えば、図７を参照して説明した被写体距離情報を用いたハイライトシーン選択基準１〜５のいずれか、または複数の基準を満足し、かつ、顔が認識された画像のみをハイライトシーンとして選択するといった処理が可能である。
あるいは、図７を参照して説明した被写体距離情報を用いたハイライトシーン選択基準１〜５のいずれか、または複数の基準を満足し、かつ、特定の位置において撮影された画像のみをハイライトシーンとして選択するといった処理が可能である。

［５．多眼構成の撮像装置の場合の被写体距離情報の取得とハイライトシーン選択の例について］
これまで、説明した実施例は２眼構成の場合について説明している。すなわち、図１、図２に示すように２つのレンズ１０１，１０２を備えた２つの撮像部１５１，１５２を有する構成例を中心として説明した。

しかし、本願は、このような２眼構成に限らず、３眼など３つ以上のレンズを有する３つ以上の撮像部を持つ多眼構成においても適用可能である。すなわち３以上の各撮像部において測定された距離情報をすべて記録して利用する構成としてもよい。この場合、レンズ数分の距離情報が記録され、これらを利用してハイライトシーン選択を行う。

具体例について、図２０、図２１を参照して説明する。図２０には、
（ａ）単眼構成
（ｂ）２眼構成
（ｃ）３眼構成
これらの構成を持つ撮像装置の距離計測ポイントの例を示している。

（ａ）単眼構成は、従来の一般的なカメラであり１つのレンズを備えた撮像部５１１を有する構成である。オートフォーカス（自動焦点）機能によって、たとえば図に示す３点（ｐｑｒ）の各ポイントの距離を計測できる。なお、この場合の計測距離は図に示す矢印の距離であり、撮像部５１１のレンズの中央からの距離となる。すなわち、ｐ，ｒの各点については、斜め方向の距離が測定される。

（ｂ）２眼構成は、例えば図１に示した上述の実施例において説明した撮像装置に対応する。個々にレンズを備えた２つの撮像部５２１，５２２を有する構成である。この場合、各撮像部が個別に３点の距離計測が可能であり、結果として、２つの撮像部５２１，５２２により図に示す６点（ｐｑｒｓｔｕ）の各ポイントの距離を計測できる。

（ｃ）３眼構成は、例えば図１に示した撮像装置にさらにもう１つのレンズを持つ撮像部を追加した構成である。図２０（ｃ）に示すように、レンズを備えた３つの撮像部５３１，５３２，５３３を有する構成である。オートフォーカス（自動焦点）機能によって、たとえば図に示すポイント９点（ｐｑｒｓｔｕｖｗｘ）の各ポイントの距離を計測できる。

このように、レンズの数が増加するに従い距離計測ポイントは増大することになり、例えば、被写体が画面中央に存在するか端部に存在するかの判断をより細かい単位で把握することができる。

このような単眼〜３眼構成の撮像装置において被写体距離計測情報に基づくハイライトシーン選択処理例について図２１を参照して説明する。図２１には、
（ａ）単眼構成
（ｂ）２眼構成
（ｃ）３眼構成
これらの構成を持つ撮像装置の各距離計測ポイントにおける被写体距離情報Ｄｎの例を示している。なおこの図２１における距離Ｄｎは、図に示す太線矢印に示す区間の距離であり、撮像装置５１１〜５３３の面からの垂直方向の距離である。

（ａ）単眼構成の場合、図に示す被写体距離Ｄ１〜Ｄ３を撮影画像に対応する被写体距離情報として算出し、属性情報として記録する。距離Ｄ２は、図２０（ａ）に示すポイントｑの距離に対応する。距離Ｄ１，Ｄ３は、図２０（ａ）において説明したｐｒまでの距離（レンズからの斜め方向の距離）とレンズに対する入射角度から三角測量を用いて算出する。
このような３つの被写体距離Ｄ１，Ｄ２，Ｄ３が得られた場合、のハイライトシーン選択基準は、たとえば以下の基準が適用できる。
Ｄ２＜（Ｄ１＋Ｄ３）／２
上記式を満足する場合、画面中央部の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。

（ｂ）２眼構成の場合、図に示す被写体距離Ｄ１〜Ｄ６を撮影画像に対応する被写体距離情報として算出し、属性情報として記録する。距離Ｄ２，Ｄ５は、図２０（ｂ）に示すポイントｑ，ｔの距離に対応する。距離Ｄ１，Ｄ３，Ｄ４，Ｄ６は、前述の例と同様、三角測量を用いて算出する。
このような６つの被写体距離Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６が得られた場合、ハイライトシーン選択基準は、たとえば以下の基準が適用できる。
Ｄ２＜（Ｄ１＋Ｄ３＋Ｄ４＋Ｄ６）／４、かつ
Ｄ５＜（Ｄ１＋Ｄ３＋Ｄ４＋Ｄ６）／４
上記式が成立する場合、ハイライトシーンとして選択する。
この式を満足するのは、画面中央部（Ｄ２〜Ｄ５近傍）の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。

（ｃ）３眼構成の場合、図に示す被写体距離Ｄ１〜Ｄ９を撮影画像に対応する被写体距離情報として算出し、属性情報として記録する。距離Ｄ２，Ｄ５，Ｄ８は、図２０（ｃ）に示すポイントｑ，ｔ，ｗの距離に対応する。距離Ｄ１，Ｄ３，Ｄ４，Ｄ６，Ｄ７，Ｄ９は、前述の例と同様、三角測量を用いて算出する。
このような９つの被写体距離Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９が得られた場合、ハイライトシーン選択基準は、たとえば以下の基準が適用できる。
Ｄ２＜（Ｄ１＋Ｄ３＋Ｄ４＋Ｄ６＋Ｄ７＋Ｄ９）／６、かつ
Ｄ５＜（Ｄ１＋Ｄ３＋Ｄ４＋Ｄ６＋Ｄ７＋Ｄ９）／６、かつ
Ｄ８＜（Ｄ１＋Ｄ３＋Ｄ４＋Ｄ６＋Ｄ７＋Ｄ９）／６、かつ
上記式が成立する場合、ハイライトシーンとして選択する。
この式を満足するのは、画面中央部（Ｄ２〜Ｄ８近傍）の被写体距離が画面周囲の被写体距離より近いことを意味する。すなわち注目被写体が中央の近距離に位置することを意味している。このようなシーンをハイライトシーンとして選択する。

このように、多眼構成の場合、計測可能な被写体距離が増加し、その増加に従ったハイライトシーン選択基準を設定してハイライトシーン選択処理に適用する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、複数視点からの撮影画像を記録する撮像装置において、各視点対応の撮像部において計測した被写体距離情報を撮影画像の属性情報として記録する。またハイライトシーン選択処理に際して、複数の撮像部からの被写体距離情報を適用して被写体が撮影画像の中央部に位置するか否かを判定し、中央部に位置すると判定された場合にハイライトシーンとして選択する。また、被写体が近づいているか否かを判定し、近づいている場合にハイライトシーンとして選択する。本構成によれば立体（３Ｄ）画像表示に最適なハイライトシーン選択が実現される。

１００ 撮像装置
１０１，１０２ レンズ
１０３ シャッター
１０４ 表示部
１１０ 付加情報
１５１ 第１撮像部（Ｌ）
１５２ 第２撮像部（Ｒ）
１５３ 撮像制御部
１５４ マイク
１５５ Ａ／Ｄ
１５６ システム制御部
１５７ ユーザインタフェース
１５８ Ｄ／Ａ
１５９ スピーカ
１６０ 表示部
１６１ 距離情報記録部
１６２ ＧＰＳユニット
１６３ 動画像処理部
１６４ 静止画像処理部
１６５ メモリ
１６６ 記録媒体
１６７ 外部記録媒体
３０１ ハイライトシーン選択情報
３０２ ハイライトシーン選択情報
５１１ 撮像部
５２１，５２２ 撮像部
５３１〜５３３ 撮像部

Claims (10)

1. 複数視点からの複数画像のそれぞれに関する複数の被写体距離情報に基づき、ハイライトシーン抽出処理を行う画像選択制御部を有し、
   前記画像選択制御部は、
   第１視点からの被写体距離と第２視点からの被写体距離の差分が、予め規定した閾値より小さいか否かを判別し、小さい場合に被写体が画像中央領域に位置すると判定する被写***置判定処理を実行し、
   前記被写***置判定処理に基づいて被写体が画像の中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う構成である制御装置。
2. 前記画像選択制御部は、
   時系列の撮影画像の被写体距離を参照して被写体が時間経過に伴い撮像装置に近づく画像をハイライトシーンとして選択する処理を行う請求項１に記載の制御装置。
3. 前記画像選択制御部は、
   被写体が画像の中央領域に位置すると判定した画像を含む連続する撮影画像によって構成される動画像をハイライトシーンとして選択する処理を行う請求項１または２に記載の制御装置。
4. 前記複数の被写体距離を記録部に記録する処理を行う記録制御部を更に有し、
   前記記録制御部は、
   撮影された動画像の記録ファイルとして設定されるストリームファイルに対応する管理ファイルであるクリップ情報ファイル、または、再生リストを格納したプレイリストファイルのいずれかに前記複数の被写体距離情報を記録する請求項１に記載の制御装置。
5. 前記記録制御部は、
   前記被写体距離情報を、前記クリップ情報ファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、クリップ情報ファイルに規定されるクリップのプレゼンテーションタイムスタートタイムからのオフセット時間を記録し、
   前記被写体距離情報を、プレイリストファイルに記録する場合は前記被写体距離の計測された画像の位置を示すタイムオフセット情報として、プレイリストに含まれるプレイアイテムに対応して設定されるインタイム（ＩｎＴｉｍｅ）からのオフセット時間を記録する請求項４に記載の制御装置。
6. 前記複数の被写体距離を記録部に記録する処理を行う記録制御部を更に有し、
   前記記録制御部は、
   前記複数画像に顔領域が含まれるか否かの顔認識情報を前記記録部に記録する処理を行い、
   前記画像選択制御部は、
   前記顔認識情報を参照して、顔認識がなされた画像を前記ハイライトシーンとして選択する処理を行う構成である請求項１に記載の制御装置。
7. 前記複数の被写体距離を記録部に記録する処理を行う記録制御部を更に有し、
   前記記録制御部は、
   前記複数画像の撮影位置を示すＧＰＳ情報を前記記録部に記録する処理を行い、
   前記ＧＰＳ情報を参照して、特定位置の撮影画像を前記ハイライトシーンとして選択する処理を行う構成である請求項１に記載の制御装置。
8. 撮像装置において実行する画像処理方法であり、
   画像選択制御部が、複数視点からの複数画像のそれぞれに関する複数の被写体距離情報に基づき、ハイライトシーン抽出処理を行う画像選択制御ステップを有し、
   前記画像選択制御ステップは、
   第１視点からの被写体距離と第２視点からの被写体距離の差分が、予め規定した閾値より小さいか否かを判別し、小さい場合に被写体が画像中央領域に位置すると判定する被写***置判定処理を実行するステップと、
   前記被写***置判定処理に基づいて被写体が画像の中央領域に位置すると判定した画像をハイライトシーンとして選択するステップを含む画像処理方法。
9. 撮像装置において画像処理を実行させるプログラムであり、
   画像選択制御部に、複数視点からの複数画像のそれぞれに関する複数の被写体距離情報に基づき、ハイライトシーン抽出処理を行わせる画像選択制御ステップを有し、
   前記画像選択制御ステップは、
   第１視点からの被写体距離と第２視点からの被写体距離の差分が、予め規定した閾値より小さいか否かを判別し、小さい場合に被写体が画像中央領域に位置すると判定する被写***置判定処理を実行するステップと、
   前記被写***置判定処理に基づいて被写体が画像の中央領域に位置すると判定した画像をハイライトシーンとして選択するステップを含むプログラム。
10. 複数視点からの複数画像のそれぞれに関する複数の被写体距離情報に基づき、ハイライトシーン抽出処理を行い、
    抽出されたハイライトシーンの再生を行う制御部を有し、
    前記制御部は、
    第１視点からの被写体距離と第２視点からの被写体距離の差分が、予め規定した閾値より小さいか否かを判別し、小さい場合に被写体が画像中央領域に位置すると判定する被写***置判定処理を実行し、
    前記被写***置判定処理に基づいて被写体が画像の中央領域に位置すると判定した画像をハイライトシーンとして選択する処理を行う構成である再生制御装置。