JP5811000B2 - 再生装置、記録再生装置、及び再生方法 - Google Patents

Description

本発明は、再生装置、記録再生装置、及び再生方法に関する。

画角や被写体に対する角度の異なる複数種類の画像データを撮像し、１の画像中に他の画像を重ねて表示することが行われている（所謂、ＰｉｎＰ（Ｐｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ））。例えば、特許文献１には、撮像倍率の異なる２種類の映像信号の内の一方の解像度や記録レートを下げて記録することが開示されている。また、特許文献２には、複数の映像の内、ユーザの選択した映像についてはそのまま表示し、他の映像についてはＩピクチュアのみを再生することが開示されている。

特開２００４−２１５１２４号公報 特開２０００−１５６８４５号公報

しかしながら、上記従来技術では、複数種類の画像を重畳した重畳画像における各画像は、画像が小さく表示されている場合には画質の低さが目立たないが、画像が大きく表示されるほど画質の低さが目立つという問題があった。

本発明は、上記に鑑みてなされたものであって、画角の異なる複数種類の画像を重畳した重畳画像を大きく表示した場合であっても、画質劣化を抑制することが出来る、再生装置、記録再生装置、及び再生方法を提供することを主な目的とする。

本発明の再生装置は、第１取得部と、受付部と、抽出部と、生成部と、表示制御部と、を備える。第１取得部は、画角の異なる複数種類の画像データと、複数種類の前記画像データの各々における、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報と、を含む第１データを取得する。受付部は、前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付ける。抽出部は、前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出する。生成部は、抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成する。表示制御部は、生成された前記重畳画像を表示部に表示する制御を行う。

本発明の記録再生装置は、第２取得部と、算出部と、第１生成部と、記憶部と、第１取得部と、受付部と、抽出部と、第２生成部と、表示制御部と、を備える。第２取得部は、画角の異なる複数種類の画像データを取得する。算出部は、取得された前記複数種類の画像データの内、最も画角の広い画像データ以外の画像データの各々について、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報を算出する。第１生成部は、取得された前記複数種類の画像データと、算出された前記画角情報と、を含む第１データを生成する。記憶部は、前記第１データを記憶する。第１取得部は、前記第１データを取得する。受付部は、前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付ける。抽出部は、前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出する。第２生成部は、抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成する。表示制御部は、生成された前記重畳画像を表示部に表示する制御を行う。

本発明の再生方法は、画角の異なる複数種類の画像データと、複数種類の前記画像データの各々における、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報と、を含む第１データを取得するステップと、前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付けるステップと、前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出するステップと、抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成するステップと、生成された前記重畳画像を表示部に表示する制御を行うステップと、を含む。

本発明によれば、画角の異なる複数種類の画像を重畳した重畳画像を大きく表示した場合であっても、画質劣化を抑制することが出来る、という効果を奏する。

図１は、記録再生装置を示す模式図である。 図２は、記録装置を示す模式図である。 図３は、画角情報の一例を示す模式図である。 図４は、符号化された画像データ及び第１データのデータ構造を示す模式図である。 図５は、再生装置を示す模式図である。 図６は、記録装置で行う記録処理の手順を示すフローチャートである。 図７は、再生装置で行う再性処理の手順を示すフローチャートである。 図８は、再生装置で表示されるＰｉｎＰ画像を示す模式図である。

以下に添付図面を参照して、本実施形態にかかる、再生装置、記録再生装置、及び再生方法の実施の形態を詳細に説明する。

図１は、本実施の形態の記録再生装置１０を模式的に示す図である。

記録再生装置１０は、画像データを記録媒体に記録するとともに、記録した画像データの再生を行う。なお、本実施の形態では、画像データは、動画像のデータである場合を説明するが、静止画像のデータであってもよい。

記録再生装置１０は、記録装置１２と再生装置１４とを備える。

図２は、記録装置１２を示す模式図である。記録装置１２は、装置本体部３０、及び記憶部３２を備える。

記憶部３２は、後述する第１データを記憶する。記憶部３２は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。

装置本体部３０は、第２取得部１６、符号化部１８、バッファ２０、算出部２２、バッファ２４、マルチプレクサ２６（第１生成部）、及びバッファ２８を備える。

第２取得部１６は、画角の異なる複数種類の画像データを取得する。本実施の形態では、一例として、画角の異なる３種類の画像データを取得する場合を説明するが、２種類以上であればよく、３種類に限られない。

なお、以下では、説明を分かりやすくする観点から、３種類の画像データの内、最も画角の広い（広角の）画像データを、広角画像データと称して説明する。また、該広角画像データの次に画角の広い画像データを、第１拡大画像データと称して説明する。また、３種類の画像データの内、最も画角の狭い画像データを、第２拡大画像データと称して説明する。なお、これらの広角画像データ、第１拡大画像データ、及び第２拡大画像データを総称する場合には、画像データと称して説明する。

第２取得部１６は、光学系４０を備える。光学系４０は、本実施の形態では、互いに画角の異なる画像データを取得する、第１光学系３４、第２光学系３６、及び第３光学系３８を備える。

第１光学系３４は、記録装置１２に設けられた複数の光学系４０（第１光学系３４、第２光学系３６、及び第３光学系３８）の内、最も広角の広角画像データを撮像によって取得する。詳細には、第１光学系３４は、レンズ３４Ａ、撮像素子３４Ｂ、及びバッファ３４Ｃを備える。

撮像素子３４Ｂは、レンズ３４Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた広角画像データを生成する。レンズ３４Ａは、第２光学系３６に設けられたレンズ３６Ａ、及び第３光学系３８に設けられたレンズ３８Ａに比べて、最も画角の広い広角レンズである。撮像素子３４Ｂには、公知のＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等を用いる。撮像素子３４Ｂで生成された広角画像データは、順次バッファ３４Ｃに格納される。バッファ３４Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。

撮像素子３６Ｂは、レンズ３６Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた第１拡大画像データを生成する。レンズ３６Ａは、第１光学系３４に設けられたレンズ３４Ａに比べて画角が狭く、且つ、第３光学系３８に設けられたレンズ３８Ａに比べて画角の広いレンズである。撮像素子３６Ｂには、公知のＣＭＯＳイメージセンサ等を用いる。撮像素子３６Ｂで生成された第１拡大画像データは、順次バッファ３６Ｃに格納される。バッファ３６Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。

撮像素子３８Ｂは、レンズ３８Ａを介して入射した入射光に応じて光電変換を行い、該入射光に応じた第２拡大画像データを生成する。レンズ３８Ａは、第１光学系３４に設けられたレンズ３４Ａ、及び第２光学系３６に設けられたレンズ３６Ａに比べて、最も画角の狭いレンズである。撮像素子３８Ｂには、公知のＣＭＯＳイメージセンサ等を用いる。撮像素子３８Ｂで生成された第２拡大画像データは、順次バッファ３８Ｃに格納される。バッファ３８Ｃは、複数枚のフレーム（コマ画像、画面）を蓄えることができる。

なお、撮像素子３４Ｂ、撮像素子３６Ｂ、及び撮像素子３８Ｂは、互いに同じ解像度及び記録レートの画像データを生成する。このため、画角の異なる複数種類（本実施の形態では３種類）の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データは、同等の画質である。

上記構成とすることで、第２取得部１６は、同等の画質で且つ画角の異なる複数種類（本実施の形態では３種類）の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を取得する。

符号化部１８は、第１光学系３４、第２光学系３６、及び第３光学系３８の各々で取得された画角の異なる３種類の画像データの各々を符号化する。具体的には、符号化部１８は、バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納された画像データを読取り、符号化する。

なお、本実施の形態では、記録装置１２は、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）（登録商標）で規定されたフォーマットで、後述する第１データを記憶部３２に格納する。なお、フォーマットは、一例であり、このフォーマットに限られない。

このため、本実施の形態では、符号化部１８は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ方式に基づいて、画角の異なる３種類の画像データの各々を符号化する。

バッファ２０は、符号化部１８で符号化された、画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を蓄積する。

算出部２２は、第２取得部１６で取得された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）の画像の各々における、より画角の狭い画像データの相当する位置及び範囲を示す画角情報を算出する。画角情報は、より画角の広い画像データの画像中における、より画角の狭い画像データの画像の相当する位置及び範囲を示す情報である。画角情報は、例えば、より画角の広い画像データの画像中における、より画角の狭い画像データの画像の相当する領域の位置座標の群等によって示される。

言い換えれば、算出部２２は、第２取得部１６で取得された画角の異なる３種類の画像データの内、最も画角の狭い（最も拡大した画像）画像データ以外の２種類の画像データの各々を主画像とする。そして、これらの主画像の画像データの各々について、各主画像の画像データより画角の狭い画像データの各々を副画像とする。そして、算出部２２は、各主画像の画像データに対する、各副画像の位置及び範囲を示す画角情報を算出する。

なお、主画像は、重畳画像（以下、ＰｉｎＰ画像（Ｐｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ画像）と称する場合がある）の表示時に、再生装置１４に設けられた表示部（詳細後述）に表示される画像である。副画像は、ＰｉｎＰ画像の表示時に主画像の一部の領域に重ねて表示される画像である。

本実施の形態では、算出部２２は、より画角の広い（より広角の）画像データを主画像とし、各主画像より画角の狭い（より拡大した）画像データを副画像として、各主画像に対応する副画像の画角情報を算出する。

算出部２２では、まず、バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納された、画角の異なる３種類の画像データについて、時間的に対になるフレーム同士を比較する。そして、算出部２２は、より画角の広い（より広角の）画像データの各画像を主画像とし、該各主画像より画角の狭い（より拡大した）画像データの各画像を副画像として、該各主画像に対応する副画像の画角情報を算出する。

このため、本実施の形態では、算出部２２は、広角画像データの各画像を主画像とし、該各主画像より画角の狭い第１拡大画像データ及び第２拡大画像データの各画像を副画像として、該各主画像に対応する副画像の画角情報を算出する。また、本実施の形態では、算出部２２は、第１拡大画像データの各画像を主画像とし、該各主画像より画角の狭い第２拡大画像データの各画像を副画像として、該各主画像に対応する副画像の画角情報を算出する。

なお、この画角情報の算出には、公知の画像処理方法を用いればよい。すなわち、より画角の狭い画像（副画像）は、より画角の広い画像（主画像）の一部となっていることから、算出部２２は、時間的に対になるフレーム同士を比較し、公知の画像処理方法を用いて、各主画像中における副画像の相当する領域を特定し、特定した領域の位置及び範囲を画角情報として算出する。

図３は、算出部２２が算出する画角情報の一例を示す模式図である。

図３は、第１拡大画像データの画像を主画像とし、第２拡大画像データの画像を該主画像に対応する副画像としたときの、副画像の画角情報の一例を示した。算出部２２は、主画像である第１画像データの画像４２中における、副画像である第２拡大画像データの画像４４の相当する領域Ｐの位置及び範囲を示す画角情報を算出する。図３に示す例では、算出部２２は、主画像である画像４２に対応する副画像である画像４４の画角情報として、主画像である画像４２における画像４４の相当する領域Ｐの四隅の位置座標（（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４））を算出する。

図２に戻り、バッファ２４は、算出部２２で算出された、各主画像に対する各副画像の位置及び範囲を示す画角情報を格納する。具体的には、バッファ２４は、各主画像を示す情報と、各主画像に対する各副画像を示す情報と、を対応づけて記憶する。各主画像を示す情報は、広角画像データまたは第１拡大画像データの識別情報と、各画像データの画像の時刻情報（撮像時刻）と、を含む。また、各主画像に対する各副画像を示す情報は、第１拡大画像データ及び／または第２拡大画像データの識別情報と、各副画像の時刻情報（撮像時刻）と、各副画像の対応する主画像における画角情報と、を含む。

マルチプレクサ２６は、バッファ２０に格納された、符号化された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、バッファ２４に格納された画角情報と、を多重化することで、第１データを生成する。すなわち、第１データは、画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、画角情報と、を含む。バッファ２８は、マルチプレクサ２６で生成された第１データを格納し、順次、記憶部３２へ記憶する。

図４は、画像データ及び第１データのデータ構造を示す模式図である。図４（Ａ）は、符号化部１８で符号化された画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を示す模式図である（図４（Ａ）中、画像データ５０参照）。図４（Ｂ）は、マルチプレクサ２６で生成された第１データの一例を示す模式図である（図４（Ｂ）中、画像データ５２参照）。なお、図４（Ｂ）に示す第１データは、画角の異なる２種類の画像データ（広角画像データ、第１拡大データ）と画角情報とを多重化することで生成された第１データを示す模式図である。

図４（Ａ）に示すように、符号化された画像データは、複数のトランスポートパケット５４からなる。なお、図４（Ａ）中、Ｓは、システムパケットを示し、Ｖは、ビデオパケットを示す。これらのトランスポートパケットには、パケット識別子（ＰＩＤ）が含まれている。

図４（Ｂ）中、ＡＵＤ（Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ）は、画像データの区切りを示す。また、ＳＰＳ（Ｓｅｑｕｅｎｃｅ ＰａｒａｍｅｔｅｒＳｅｔ）は、シーケンス全体の符号化モード等の符号化に関わる情報を含む。ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）は、ピクチャー全体の符号化モードを示すヘッダ情報である。ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）は、付加情報を示す。本実施の形態では、マルチプレクサ２６は、画角情報をこのＳＥＩに含める。ＳＬＩＣＥは、実際の画像データを示し、インターレースなら１フィールド分、プログレッシブなら１フレーム分の画像データを示す。

マルチプレクサ２６は、符号化された画角の異なる各画像データの各フレームのＳＥＩに、対応する副画像（該画像データに対応するより狭い画角の画像データの画像）の対応する時刻の画角情報を格納することで、第１データを作成する。なお、符号化された各画像データのトランスポートパケットに含まれるＰＩＤには、画角の異なる画像データ毎に、異なる値が与えられる。このため、マルチプレクサ２６は、符号化された各画像データのＰＩＤを、各画像データの識別情報として用いる。

次に、再生装置１４について説明する。

再生装置１４は、記録装置１２によって記憶部３２に記録された第１データに基づいて画像を再生する。

図５は、再生装置１４を示す模式図である。再生装置１４は、装置本体部６０、操作部７４、及び表示部６２を備える。

表示部６２は、１の画像中に他の画像を重ねたＰｉｎＰ画像（重畳画像）や、第１データに含まれる画角の異なる各画像データの画像等を表示する。表示部６２としては、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の公知の表示装置が挙げられる。

操作部７４は、再生モードの指示等をユーザから受け付ける。操作部７４としては、例えば、マイク等の音声認識装置、マウス、ボタン、リモコン、及びキーボード等が挙げられる。

再生モードには、特定の画像データの再生モード（特定画像再生モード）や、ＰｉｎＰ画像の再生モード（ＰｉｎＰ画像再生モード）がある。

ユーザによる操作部７４の操作指示によって、表示部６２への表示対象の画像データの指示及び再生モードの指示がなされると、操作部７４は、特定画像再生指示信号を装置本体部６０へ送信する。この特定画像再生指示信号には、表示部６２への表示対象の画像データの識別情報及び特定画像再生モードを示す情報が含まれる。

また、ユーザによる操作部７４の操作指示によって、ＰｉｎＰ画像再生モードの指示、及び主画像として表示する対象の画像データ及び副画像として表示する画像データが指示されると、操作部７４は、ＰｉｎＰ画像再生指示信号を装置本体部６０へ送信する。このＰｉｎＰ画像再生指示信号には、表示部６２に主画像として表示する対象の画像データの第１識別情報、及び副画像として表示する対象の画像データの第２識別情報、及びＰｉｎＰ画像再生モードを示す情報が含まれる。

装置本体部６０は、例えば、表示部６２に再生装置１４で再生可能な画像データの一欄をユーザに選択可能に表示する。具体的には、後述するバッファ７０に格納された画角の異なる複数種類の画像データの各々について、ある時刻のフレームのサムネイル画像の一欄や、各画像データの識別情報等を表示部６２に表示する。そして、装置本体部６０は、再生モードの選択を促すメッセージを併せて表示部６２に表示する。そして、ユーザによる操作部７４の操作指示によって、表示部６２への表示対象の画像データの指示及び再生指示がなされると、操作部７４は、特定画像再生指示信号を装置本体部６０へ送信すればよい。また、ユーザによる操作部７４の操作指示によって、ＰｉｎＰ画像の再生指示、主画像、及び副画像が選択されると、操作部７４は、ＰｉｎＰ画像再生指示信号を装置本体部６０へ送信すればよい。

なお、操作部７４は、ユーザによる操作部７４の操作指示によって、再生開始を示す開始信号や、再生終了を示す終了信号等の各種信号を更に装置本体部６０へ送信してもよい。

装置本体部６０は、記憶部３２に記憶されている第１データを取得し、取得した第１データに含まれる画像データを、操作部７４を介して指示された指示内容に応じた再生モードで表示部６２に表示する。

詳細には、装置本体部６０は、第１取得部６４、バッファ６６、デマルチプレクサ６８、バッファ７０、バッファ７２、受付部７６、切替部７８、復号部８０、抽出部８２、バッファ８６、バッファ８８、及び生成部９０（生成部、第２生成部）を備える。

第１取得部６４は、記憶部３２から第１データを取得し、バッファ６６に格納する。デマルチプレクサ６８は、バッファ６６に格納された第１データを、第１データに含まれる、画角の異なる複数種類の画像データ（広角画像データ、第１拡大画像データ、及び第２拡大画像データ）と、画角情報と、に分離する。

そして、デマルチプレクサ６８は、第１データから分離した複数種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）を、各画像データの識別情報に対応づけてバッファ７０に格納する。デマルチプレクサ６８は、各主画像の画像データの識別情報と、各主画像に対応する副画像の画像データの識別情報と、各副画像の時刻情報（撮像時刻）と、各副画像の対応する主画像における画角情報と、を対応づけてバッファ７２に格納する。

受付部７６は、ユーザによる操作指示によって操作部７４を介して入力された各種信号を受け付ける。本実施の形態では、受付部７６は、特定画像再生指示信号、ＰｉｎＰ画像再生指示信号、開始信号、及び終了信号等の各種信号を操作部７４から受け付ける。そして、受付部７６は、受け付けたこれらの信号を切替部７８や表示制御部９１へ送信する。

切替部７８は、再生モードを、特定画像再生モード、またはＰｉｎＰ画像再生モードの何れかのモードに切り替える。切替部７８は、受付部７６から特定画像再生指示信号を受け付けた場合には、再生モードを特定画像再生モードに切り替える。そして、特定画像再生モードに切り替えた場合には、該特定画像再生指示信号を、復号部８０、抽出部８２、及び生成部９０へ出力する。

一方、切替部７８は、受付部７６からＰｉｎＰ画像再生指示信号を受け付けた場合には、再生モードをＰｉｎＰ画像再生モードに切り替える。そして、ＰｉｎＰ画像再生モードに切り替えた場合には、該ＰｉｎＰ画像再生指示信号を、復号部８０、抽出部８２、及び生成部９０へ出力する。

復号部８０は、バッファ７０に格納された画像データを復号する。復号部８０による復号処理には、公知の方法を用いればよい。具体的には、復号部８０は、第１データに含まれるＳＰＳやＰＰＳを解釈することで符号化モードと特定し、特定した符号化モードに応じた復号を行う。

復号部８０は、切替部７８から特定画像再生指示信号を受け付けた場合には、該特定画像再生指示信号に含まれる識別情報によって特定される画像データをバッファ７０から読み取り復号する。そして、復号部８０は、復号した画像データを、バッファ８８へ出力する。

また、復号部８０は、切替部７８からＰｉｎＰ画像再生指示信号を受け付けた場合には、該ＰｉｎＰ画像再生指示信号に含まれる、主画像として表示する対象の画像データの第１識別情報によって特定される画像データをバッファ７０から読み取り復号する。そして、復号部８０は、復号した画像データを、バッファ８８へ出力する。

抽出部８２は、表示部６２に主画像として表示する対象の画像データの画像から、画角情報に基づいて、表示対象の副画像に相当する領域を抽出する。

詳細には、抽出部８２は、切替部７８からＰｉｎＰ画像再生指示信号を受け付ける。抽出部８２は、受け付けたＰｉｎＰ画像再生指示信号に含まれる、表示部６２に主画像として表示する対象の画像データの第１識別情報、及び副画像として表示する対象の画像データの第２識別情報を読み取る。そして、抽出部８２は、バッファ７２に格納されている、該読み取った主画像として表示する対象の画像データの第１識別情報に対応する、各主画像に対応する副画像の画像データの識別情報の内、ＰｉｎＰ画像再生指示信号に含まれる副画像として表示する対象の画像データの第２識別情報を特定する。そして、抽出部８２は、特定した副画像の画像データの識別情報に対応する画角情報及び時刻情報をバッファ７２から読み取る。

また、抽出部８２は、ＰｉｎＰ画像再生指示信号を受け付けることで、復号部８０で復号された該主画像として表示する対象の画像データをバッファ８８から読み取る。そして、読み取った主画像として表示する対象の画像データの各フレームから、該副画像の画角情報によって示される位置及び範囲を抽出することで、対応する時刻の該副画像に相当する領域を抽出する。

そして、抽出部８２は、抽出した抽出画像を、対応する時刻情報（撮像時刻）及び対応する副画像の識別情報に対応づけて、バッファ８６に格納する。

なお、抽出部８２は、変更部８４を備えている。変更部８４は、画角情報に基づいて抽出された抽出画像の表示サイズを、表示部６２に表示する副画像のサイズとして予め定めた表示サイズに変更する。

なお、変更部８４による抽出画像のリサイズ（変更）は必須ではなく、必要に応じて適宜行えばよい。すなわち、画角情報に基づいて抽出された抽出画像の表示サイズが、表示部６２に表示する副画像のサイズとして予め定めた表示サイズと一致する場合には、変更の必要はない。

生成部９０は、切替部７８から特定画像再生信号を受け付けた場合には、バッファ８８に格納された画像データを順次表示制御部９１へ送信する。表示制御部９１は、受け付けた画像データの画像を表示部６２に表示する制御を行う。このため、表示制御部９１は、特定画像再生指示信号に含まれる、表示部６２に再生する対象の画像データの識別情報によって特定される画像データの画像を表示部６２に表示する制御を行う。

一方、生成部９０は、切替部７８からＰｉｎＰ画像再生指示信号を受け付けた場合には、バッファ８８に格納された画像データの画像（すなわち主画像）における予め定めた位置(例えば、画面の右下等)に、バッファ８６に格納されている対応する時刻の抽出画像を重ねたＰｉｎＰ画像（重畳画像）を作成する。そして、生成部９０は、作成したＰｉｎＰ画像のＰｉｎＰ画像データを、順次表示制御部９１へ送信する。表示制御部９１は、受け付けたＰｉｎＰ画像データのＰｉｎＰ画像を表示部６２に表示する制御を行う。

このため、ＰｉｎＰ画像再生指示信号を受け付けた場合には、表示制御部９１は、主画像中に表示する副画像の画像データは用いずに、表示対象の主画像の画像データから抽出した抽出画像を該主画像上の予め定めた位置に重畳したＰｉｎＰ画像（重畳画像）を、表示部６２に表示する制御を行う。

次に、本実施の形態の記録再生装置１０における、記録装置１２で行われる記録処理について説明する。

図６は、記録装置１２で行う記録処理の手順を示すフローチャートである。

まず、第２取得部１６が、画角の異なる複数種類の画像データを取得する（ステップＳ１００）第２取得部１６で取得された各画像データは、順次バッファ３４Ｃ、バッファ３６Ｃ、及びバッファ３８Ｃの各々に格納される。

次に、算出部２２が、第２取得部１６で取得された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）の画像の各々における、より画角の狭い画像データの画像の相当する位置及び範囲を示す画角情報を算出する（ステップＳ１０２）。ステップＳ１０２の処理によって、第２取得部１６で取得された画像データの内の、最も画角の狭い画像データ以外の画像データの各々を主画像とし、各主画像の画像データに対する、各副画像（より画角の狭い画像データの画像）の位置及び範囲を示す画角情報が算出される。

次に、算出部２２は、算出した、各主画像に対する各副画像の位置及び範囲を示す画角情報をバッファ２４へ格納する（ステップＳ１０４）。ステップＳ１０４の処理によって、バッファ２４には、各主画像を示す情報と、各主画像に対する各副画像を示す情報と、が対応づけて記憶される。

次に、符号化部１８が、第１光学系３４、第２光学系３６、及び第３光学系３８の各々で取得された画角の異なる３種類の画像データの各々を符号化する（ステップＳ１０６）。ステップＳ１０６の処理によって符号化された各画像データは、バッファ２０に順次格納される。

次に、マルチプレクサ２６が、バッファ２０に格納された、符号化された画角の異なる３種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）と、バッファ２４に格納された画角情報と、を多重化することで、第１データを生成する（ステップＳ１０８）。そして、マルチプレクサ２６は、生成した第１データをバッファ２８を介して記憶部３２に格納する（ステップＳ１１０）。

次に、装置本体部３０が、図示を省略する操作部等の操作指示によって記録終了を示す信号を受け付けたか否かを判断する（ステップＳ１１２）。ステップＳ１１２で否定判断すると（ステップＳ１１２：Ｎｏ）、上記ステップＳ１０２へ戻る。一方、ステップＳ１１２で肯定判断すると（ステップＳ１１２：Ｙｅｓ）、本ルーチンを終了する。

次に、本実施の形態の記録再生装置１０における、再生装置１４で行われる再生処理について説明する。

図７は、再生装置１４で行う再性処理の手順を示すフローチャートである。

再生装置１４では、装置各部に電力が供給され操作部７４から再生開始を示す開始信号を受付部７６が受け付けると、図７に示す再生処理を実行する。

まず、第１取得部６４が、記憶部３２から第１データを取得する（ステップＳ２００）。ステップＳ２００によって取得された第１データは、バッファ６６に格納される。

次に、デマルチプレクサ６８が、バッファ６６に格納された第１データを、第１データに含まれる、画角の異なる複数種類の画像データ（広角画像データ、第１拡大画像データ、及び第２拡大画像データ）と、画角情報と、に分離する（ステップＳ２０２）。ステップＳ２０２の処理によって、第１データから分離された複数種類の画像データ（広角画像データ、第１拡大画像データ、第２拡大画像データ）は、各画像データの識別情報に対応づけてバッファ７０に格納される。また、ステップＳ２０２の処理によって、第１データから分類された画角情報、すなわち、各主画像に対応する各副画像の画角情報は、バッファ７２に格納される。

次に、切替部７８が、ＰｉｎＰ画像再生モード及び特定画像再生モードの何れの再生モードがユーザによって指示されたかを判別する（ステップＳ２０４）。切替部７８は、操作部７４から受付部７６を介して受け付けた信号が、ＰｉｎＰ画像再生指示信号である場合には、ＰｉｎＰ画像再生モードがユーザによって指示されたと判別する（ステップＳ２０４：ＰｉｎＰ画像再生モード）。そして、切替部７８は、ＰｉｎＰ画像再生指示信号を復号部８０、抽出部８２、生成部９０等に送信した後に、ステップＳ２０６へ進む。

ステップＳ２０６では、復号部８０が、受け付けたＰｉｎＰ画像再生指示信号に含まれる、主画像として表示する対象の画像データの第１識別情報によって特定される画像データをバッファ７０から読み取り復号する（ステップＳ２０６）。そして、復号部８０は、復号した主画像の画像データを、バッファ８８へ出力する。

次に、抽出部８２が、表示部６２に主画像として表示する対象の画像データの画像に対応する、副画像の画角情報をバッファ７２から読み取る（ステップＳ２０８）。ステップＳ２０８では、抽出部８２は、受け付けた該ＰｉｎＰ画像再生指示信号に含まれる、表示部６２に主画像として表示する対象の画像データの第１識別情報、及び副画像として表示する対象の画像データの第２識別情報を読み取る。そして、抽出部８２は、バッファ７２に格納されている、該読み取った主画像として表示する対象の画像データの第１識別情報に対応する、各主画像に対応する副画像の画像データの識別情報の内、該ＰｉｎＰ画像再生指示信号に含まれる副画像として表示する対象の画像データの第２識別情報を特定する。そして、抽出部８２は、特定した副画像の画像データの識別情報に対応する画角情報及び時刻情報をバッファ７２から読み取る。

次に、抽出部８２が、上記ステップＳ２０６の処理によってバッファ８８に格納された表示部６２に主画像として表示する対象の画像データから、上記ステップＳ２０８で読み取った画角情報に基づいて、表示対象の副画像に相当する領域を抽出する（ステップＳ２１０）。

次に、生成部９０が、バッファ８８に格納された画像データの画像（すなわち主画像）における予め定めた位置(例えば、画面の右下等)に、バッファ８６に格納されている対応する時刻の抽出画像を重ねたＰｉｎＰ画像（重畳画像）を作成する（ステップＳ２１２）。そして、生成部９０は、作成したＰｉｎＰ画像のＰｉｎＰ画像データを、順次表示制御部９１へ送信する。

次に、表示制御部９１が、受け付けたＰｉｎＰ画像データのＰｉｎＰ画像を表示部６２に表示する制御を行う（ステップＳ２１６）。

次に、受付部７６が、再生終了を示す終了信号を操作部７４から受け付けたか否かを判断する。ステップＳ２１６で肯定判断すると（ステップＳ２１６：Ｙｅｓ）、本ルーチンを終了し、否定判断すると（ステップＳ２１６：Ｎｏ）、上記ステップＳ２０２へ戻る。

一方、上記ステップＳ２０４において、切替部７８が、特定画像再生モードがユーザによって指示されたと判別すると（ステップＳ２０４：特定画像生成モード）、ステップＳ２１８へ進む。切替部７８は、操作部７４から受付部７６を介して受け付けた信号が、特定画像再生指示信号である場合には、特定画像再生モードがユーザによって指示されたと判別する（ステップＳ２０４：特定画像生成モード）。そして、切替部７８は、特定画像再生指示信号を復号部８０、生成部９０等に送信した後に、ステップＳ２１８へ進む。

ステップＳ２１８では、復号部８０が、受け付けた該特定画像再生指示信号に含まれる識別情報によって特定される画像データをバッファ７０から読み取り復号する（ステップＳ２１８）。すなわち、復号部８０は、ユーザによって、表示部６２に表示する対象の画像データとして選択された画像データを、復号する。そして、復号部８０は、復号した画像データを、バッファ８８へ出力する。

次に、表示制御部９１が、該特定画像再生指示信号に含まれる、表示部６２に再生する対象の画像データの識別情報によって特定される画像データの画像を表示部６２に表示する制御を行う（ステップＳ２２０）。そして、上記ステップＳ２１６へ進む。

上記再生処理が実行されることによって、主画像として表示する対象の画像データの画像に、該主画像として表示する対象の画像データから副画像に相当する領域を抽出した抽出画像を重畳したＰｉｎＰ画像を、表示部６２に表示することができる。

図８は、本実施の形態の再生装置１４で表示されるＰｉｎＰ画像を示す模式図である。図８（Ａ）は、主画像として表示する対象の画像データの画像９２を示す模式図である。また、図８（Ｂ）は、副画像として表示する対象の画像データの画像９４を示す模式図である。この場合、本実施の形態の再生装置１４で上記再生処理が実行されることで、主画像としての画像９２上における、副画像としての画像９４に対応する領域Ｓが抽出される。図８（Ｃ）は、ＰｉｎＰ画像９６を示す模式図である。図８（Ｃ）に示すように、主画像としての画像９２に、抽出された領域Ｓの抽出画像ＳＡを予め定めた位置に重畳した重畳画像であるＰｉｎＰ画像９６が作成されて表示される。

以上説明したように、本実施の形態の再生装置１４では、１の画像中に他の画像を重ねたＰｉｎＰ画像を表示部６２に表示する場合に、画角の異なる画像データを重畳したＰｉｎＰ画像を再生するのではなく、主画像として表示する対象の画像データの画像に、該主画像として表示する対象の画像データの画像から副画像に相当する領域を抽出した抽出画像を重畳したＰｉｎＰ画像を、表示部６２に表示する。このため、重畳対象の画像の少なくとも一方の解像度を低くするなどの解像度調整や記録レートを低くするなどの間引き処理等を行わずに、ＰｉｎＰ画像を生成し、表示することができる。

このため、本実施の形態の再生装置１４では、ＰｉｎＰ画像に含まれる、主画像及び主画像上の一部に重ねて表示する副画像の画質を低下させることなく、これらの重畳画像であるＰｉｎＰ画像を表示することができる。従って、本実施の形態の再生装置１４では、重畳画像を大きく表示した場合であっても、画質劣化を抑制することができる。

なお、本実施の形態の記録再生装置１０における記録装置１２及び再生装置１４は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置（表示部６２）と、キーボードやマウスなどの入力装置（操作部７４）を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施形態の記録装置１２及び再生装置１４で実行される記録処理、及び再生処理の各々を実行するためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

なお、上記には、本発明の実施の形態を説明したが、実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 記録再生装置
１２ 記録装置
１４ 再生装置
１６ 第２取得部
１８ 符号化部
２２ 算出部
２６ マルチプレクサ
３２ 記憶部
６２ 表示部
６４ 第１取得部
６８ デマルチプレクサ
７６ 受付部７６
８０ 復号部
８２ 抽出部
９０ 作成部
９１ 表示制御部

Claims (5)

1. 画角の異なる複数種類の画像データと、複数種類の前記画像データの各々における、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報と、を含む第１データを取得する第１取得部と、
   前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付ける受付部と、
   前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出する抽出部と、
   抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成する生成部と、
   生成された前記重畳画像を表示部に表示する制御を行う表示制御部と、
   を備えた再生装置。
2. 前記抽出部は、抽出された前記抽出画像を予め定めた表示サイズに変更する変更部を含み、
   前記生成部は、変更された前記抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した前記重畳画像を生成する、
   請求項１に記載の再生装置。
3. 前記第１取得部は、解像度が同じで且つ画角の異なる複数種類の画像データを取得する、請求項１または請求項２に記載の再生装置。
4. 画角の異なる複数種類の画像データを取得する第２取得部と、
   取得された前記複数種類の画像データの内、最も画角の広い画像データ以外の画像データの各々について、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報を算出する算出部と、
   取得された前記複数種類の画像データと、算出された前記画角情報と、を含む第１データを生成する第１生成部と、
   前記第１データを記憶する記憶部と、
   前記第１データを取得する第１取得部と、
   前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付ける受付部と、
   前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出する抽出部と、
   抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成する第２生成部と、
   生成された前記重畳画像を表示部に表示する制御を行う表示制御部と、
   を備えた記録再生装置。
5. 画角の異なる複数種類の画像データと、複数種類の前記画像データの各々における、より画角の狭い前記画像データの相当する位置及び範囲を示す画角情報と、を含む第１データを取得するステップと、
   前記複数種類の画像データの内、複数の画像を重畳した重畳画像の表示時に主画像として表示する対象の画像データの第１識別情報と、該主画像上の一部の領域に副画像として重畳させて表示する対象の画像データの第２識別情報と、を受け付けるステップと、
   前記第１識別情報によって特定される前記画像データから、前記画角情報に基づいて、前記第２識別情報によって特定される前記画像データに対応する領域を抽出するステップと、
   抽出された抽出画像を、前記第１識別情報によって特定される前記画像データに重畳した重畳画像を生成するステップと、
   生成された前記重畳画像を表示部に表示する制御を行うステップと、
   を含む再生方法。

Images