JP6004071B2 - Display control apparatus, display control method, and program - Google Patents
Display control apparatus, display control method, and program Download PDFInfo
- Publication number
- JP6004071B2 JP6004071B2 JP2015218055A JP2015218055A JP6004071B2 JP 6004071 B2 JP6004071 B2 JP 6004071B2 JP 2015218055 A JP2015218055 A JP 2015218055A JP 2015218055 A JP2015218055 A JP 2015218055A JP 6004071 B2 JP6004071 B2 JP 6004071B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- imaging
- moving image
- shooting
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、他の撮像装置と連携した撮影に関する処理を行う表示制御装置、表示制御方法及びプログラムに関する。 The present invention relates to a display control device, a display control method, and a program that perform processing related to shooting in cooperation with another imaging device.
従来より、所定の領域を複数の異なる視点から撮影して得た画像を用いて通常の画角よりも広い画角の画像であるパノラマ画像を生成する技術がある。
特許文献１に記載される技術では、複数の撮像手段を搭載して、当該撮像手段により撮像された撮像画像を合成することにより、１つのパノラマ画像を生成する。
また、撮像手段によって撮像した画像を確認するものとしては、特許文献２に記載の技術が知られている。特許文献２に記載の技術では、同一装置内に複数の撮像手段を搭載し、搭載した表示手段において各撮像手段の撮影範囲を表示する。この特許文献２に記載の技術では、１の撮影範囲を撮影する撮像手段の撮影範囲内を他の撮像手段が撮影するように構成されている。
Conventionally, there is a technique for generating a panoramic image, which is an image having a wider angle of view than a normal angle of view, using images obtained by photographing a predetermined area from a plurality of different viewpoints.
In the technique described in
As a technique for confirming an image captured by an imaging unit, a technique described in
しかしながら、上述した特許文献１及び２に記載の技術は、複数の撮像手段が同一装置に搭載されているために、撮像範囲等において制約があった。
また、上述した特許文献２に記載の技術では、表示される画像からは、他の撮像手段の撮影範囲を確認できるものの、撮像手段の角度等の姿勢を直感的に認識することができないという問題があった。
However, the techniques described in
Further, in the technique described in
本発明は、このような状況に鑑みてなされたものであり、他の撮像装置と連携した撮影に関する処理をより好適に行うことを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to more suitably perform processing related to shooting in cooperation with another imaging device.
上記目的を達成するため、本発明の一態様の撮像装置は、複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する再生表示手段と、前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段と、前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段と、を備えたことを特徴とする。 In order to achieve the above object, an imaging device according to one embodiment of the present invention captures a plurality of frame images captured at the same timing when reproducing a plurality of moving image data captured by a plurality of imaging devices. Reproduction display means for reproducing and displaying as a moving image while generating a combined frame image by combining so that a part of the region overlaps, and at each timing during the reproduction display of the moving image by the reproduction display means, Scroll for controlling the reproduction display means so as to change the cutout position in the composite frame image displayed in the display area in response to a scroll instruction while cutting out a part and displaying it in a display area of a predetermined size The frame of each video data that has become the playback timing at each timing during the playback display of the video by the control means and the playback display means. Features of the image, except for the frame image is not displayed on the display area in the scroll position at that time an image combining control means for controlling the reproduction display means to synthesize a plurality of frame images, by comprising And
本発明によれば、他の撮像装置と連携した撮影に関する処理をより好適に行うことができる。 According to the present invention, it is possible to more suitably perform processing related to shooting in cooperation with another imaging device.
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る動画システムのシステム構成を示すシステム構成図である。
本発明の一実施形態に係る動画システムＳは、図１に示すように、所定の領域を複数の撮像装置１Ａ，１Ｂで領域を別けるように同期撮影（以下、「動画の同期パノラマ撮影」という）し、当該撮影した複数の動画を１つの動画のように表示して１つの撮像装置の画角よりも広い画角の動画（以下、「パノラマ動画」という）を再生（以下、「動画の同期パノラマ再生」という）するシステムである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a system configuration diagram showing a system configuration of a moving image system according to an embodiment of the present invention.
As shown in FIG. 1, the moving image system S according to an embodiment of the present invention performs synchronous shooting (hereinafter referred to as “synchronous panoramic shooting of moving images”) so that a predetermined region is separated by a plurality of
このような動画システムＳは、動画を撮影する複数の撮像装置１Ａ，１Ｂ（本実施形態においては、２台の撮像装置を例として説明する）と、撮影した動画のデータを再生する動画再生装置２と、を備える。
Such a moving image system S includes a plurality of
撮像装置１Ａと撮像装置１Ｂとは、ネットワークＮを介して接続され、撮像装置１Ａ，１Ｂと動画再生装置２とも、ネットワークＮを介して接続される。
また、撮像装置１Ａと撮像装置１Ｂとの間では、同期撮影を行うための装置の位置や姿勢等の同期撮影に必要な情報がやり取りされる。また、撮像装置１Ａ、１Ｂと動画再生装置２の間では、同期再生を可能にするための情報と、撮影された動画データとがやり取りされる。
また、撮像装置１Ａ，１Ｂは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛生ＳｔからのＧＰＳ情報と、搭載される加速度センサ等の各種センサからの情報に基づいて、装置の位置と角度や向き等の装置の姿勢に関する情報を取得する。
なお、撮像装置１Ａ、１Ｂの各々を、個々に区別する必要がない場合、これらをまとめて、「撮像装置１」とする。
The
In addition, information necessary for synchronous imaging such as the position and orientation of the apparatus for performing synchronous imaging is exchanged between the
In addition, the
Note that when there is no need to individually distinguish each of the
この動画システムＳにおいては、上述したシステム構成で、動画の同期パノラマ撮影と同期パノラマ再生を行うが、まず、動画の同期パノラマ撮影について説明し、次に動画の同期パノラマ撮影で得た動画データを再生する動画の同期パノラマ再生について説明する。
「動画の同期パノラマ撮影」とは、パノラマ動画の再生に供する動画を複数の撮像装置１Ａ，１Ｂで同期撮影する撮影のことをいう。
「動画の同期パノラマ再生」とは、動画の同期パノラマ撮影で撮影された動画を表示してパノラマ動画の再生を行う再生のことをいう。
In this moving image system S, synchronized panorama shooting and synchronized panorama playback of moving images are performed with the system configuration described above. First, synchronized panoramic shooting of moving images will be described, and then moving image data obtained by synchronized panoramic shooting of moving images will be described. A description will be given of synchronized panorama playback of a moving image to be played back.
“Synchronous panoramic shooting of moving images” refers to shooting of moving images to be used for playback of panoramic moving images in synchronization with a plurality of
“Movie synchronized panorama playback” refers to playback in which a movie shot by synchronized panorama shooting of a movie is displayed and a panorama movie is played back.
動画の同期パノラマ撮影では、パノラマ動画となる複数の動画データを得るために、所定の領域を撮像装置１Ａ，１Ｂで撮影する。
以下、動画の同期パノラマ撮影の一例として、撮像装置１Ａにおける撮影位置を決定して、次に、撮像装置１Ａの撮影位置に基づいて、撮像装置１Ａの撮影領域の残余の領域を撮影するように撮像装置１Ｂにおける撮影位置を決定する場合の例を主に説明する。
この場合、撮像装置１Ｂにおける撮影位置の決定に際し、動画の同期パノラマ撮影では、撮像装置１Ｂ側において、撮像装置１Ａの撮影領域を搭載する表示部２１で表示する。
表示部２１に表示される撮像装置１Ａの撮影領域を基にして、ユーザは、撮像装置１Ｂに対する撮影位置の決定を行うことで、適切な撮影位置で動画の同期パノラマ撮影を行うことができる。
上記の例の他、撮像装置１Ａと撮像装置１Ｂとが互いに相手の撮影領域を自己の表示部で確認しながら、夫々の撮影位置を同時に調整することも可能である。
In synchronized panoramic shooting of a moving image, a predetermined area is captured by the
Hereinafter, as an example of synchronous panoramic shooting of a moving image, a shooting position in the
In this case, when determining the shooting position in the
Based on the shooting area of the
In addition to the above example, the
撮像装置１Ｂ側において、撮像装置１Ａの撮影領域を表示する手法としては、撮像装置１Ａの撮影主体となる主要被写体に対する撮影位置から、撮像装置１Ｂの撮影領域内においての撮像装置１Ａの撮影領域を表示する。
撮像装置１Ｂの撮影領域は、ライブビュー画像を利用することで、特定することができ、当該ライブビュー画像を表示した状態で、ライブビュー画像に映し出される映像に対応して撮像装置１Ａの撮影領域を表示させる。なお、「ライブビュー画像」とは、搭載される撮像部による撮像動作を開始させた結果、順次出力される撮像画像をいう。「ライブビュー画像」は、搭載される記憶部に一時的に記憶され、その後、撮像画像を順次読み出して、表示部２１に順次表示させる。その結果、表示部２１には、現在の撮影風景が撮像部に刻々と表示されることになる。
撮影された撮像画像は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式のうちＭＰＥＧ４形式の動画として記憶される。ＭＰＥＧ４形式の動画は、データ圧縮のために、複数種のフレーム（Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ），Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ），Ｂフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ））で構成される。Ｉフレームは、フレーム間予測を用いずに符号化されるフレーム（イントラフレームやキーフレーム）であり、Ｐフレームは、前方向予測のみを用いて符号化されるフレームであり、Ｂフレームは、前方向予測、後方向予測、両方向予測のうち何れかを選択して符号化されるフレーム。つまり、伸長（復号）処理の際には、Ｉフレームの場合には、他のフレームを必要とせず、Ｐフレーム及びＢフレームは他のフレームが必要となる。
As a technique for displaying the imaging region of the
The shooting area of the
The photographed captured image is stored as a moving image in MPEG4 format in the MPEG (Moving Picture Experts Group) format. An MPEG4 format moving image is composed of a plurality of types of frames (I-frame (Intra-coded Frame), P-frame (Predicted Frame), and B-frame (Bi-directional Predicted Frame)) for data compression. The I frame is a frame (intra frame or key frame) that is encoded without using inter-frame prediction, the P frame is a frame that is encoded using only forward prediction, and the B frame is a previous frame. A frame that is encoded by selecting one of direction prediction, backward prediction, and bidirectional prediction. That is, in the decompression (decoding) process, in the case of an I frame, no other frame is required, and in the P frame and the B frame, another frame is required.
上述したような撮像装置１Ｂ側の撮像装置１Ａの撮影領域を表示する手法の具体例について、以下、主要被写体に対する撮像装置１Ａ，１Ｂの撮影位置の異なる２つの撮影パターン（第１の撮影パターン及び第２の撮影パターン）の例を用いて説明する。なお、所定の撮影パターンは、撮影における仮位置であって、仮位置における撮像装置１の撮影領域を判断して、撮影位置を決定するものである。
なお、本例では、撮像装置１Ａ，１Ｂはチルト方向（垂直方向）とパン方向（水平方向）に装置を移動させて所望の位置で固定が可能な三脚に取り付けられる。
With respect to a specific example of the method for displaying the imaging region of the
In this example, the
図２は、第１の撮影パターンの説明をするための模式図である。
第１の撮影パターンは、撮像装置１を側面視した図２（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとが同じ高さで同じ角度に調整された状態である（高さ／角度：一致）。
また、第１の撮影パターンでは、撮像装置１を平面視した図２（ｂ）に示すように、撮像装置１Ａと撮像装置１Ｂとの撮像装置の並びに対して平行するように設定された被写体の想定位置を示すライン（以下、「被写***置ライン」という）までの距離（以下、「被写体距離」という）が同じで、撮像領域が重複する領域（以下、「重複領域」という）ができるような装置間の距離（以下、「装置間距離」という）に設置された状態である（被写体距離：一致，重複領域：あり）。
第１の撮影パターンは、換言すると、被写***置ラインに対して正対した状態で撮像装置１を重複領域ができる所定距離に並べて設置した撮影パターンである。
このような条件下においては、撮像装置１Ａと撮像装置１Ｂとの被写***置ラインにおける撮影領域の大きさが同じになる（撮影領域の大きさ：一致）。
なお、以下において、撮像装置１の光軸と（本実施形態においては、直角方向に）交差し、被写体を通過する被写***置ラインを鉛直方向の平面として捉えたものを「被写体撮影平面」といい、被写体撮影平面を撮像装置１の撮影領域で区画した平面の領域を「被写体撮影領域」という。即ち、撮像装置１が撮影する空間をＸＹＺ座標系（極座標系）で捉えた場合、「被写体撮影平面」は、撮像装置１の光軸と被写体と直交する被写***置ラインがＸＹ軸で特定され、当該被写***置ラインを鉛直方向のＺ軸で特定される。また、「被写体撮影領域」は、特定された被写体撮影平面を撮像装置１Ａの撮像範囲で区画して特定した平面の領域である。
FIG. 2 is a schematic diagram for explaining the first imaging pattern.
The first shooting pattern is a state in which the
Further, in the first shooting pattern, as shown in FIG. 2B when the
In other words, the first shooting pattern is a shooting pattern in which the
Under such conditions, the size of the shooting area in the subject position line of the
In the following, an object that intersects with the optical axis of the imaging device 1 (perpendicular to the right angle in the present embodiment) and passes through the subject as a vertical plane is referred to as a “subject photographing plane”. A plane area obtained by dividing the subject shooting plane by the shooting area of the
このような第１の撮影パターンでは、撮像装置１Ｂを基準にして、互いの撮影領域との位置関係で示した図２（ｃ）に示すように、撮像装置１Ａの撮影領域と、撮像装置１Ｂの撮影領域とが同一の大きさで、一部重なり合っているような位置関係となる。
撮像装置１Ｂでは、撮像装置１Ｂの撮影領域でライブビュー画像が表示されて、撮像装置１Ｂの撮影領域に重なっている撮像装置１Ａの撮影領域の一部がライブビュー画像に重複して表示されることとなる。具体的には、撮像装置１Ｂでは、図２（ｄ）に示すようなライブビュー画像の左側の一部の領域に撮像装置１Ａの撮影領域の重複部分が表示される。本実施形態においては、撮像装置１Ｂの撮影領域でライブビュー画像に重畳表示される撮像装置１Ａの撮影領域の重複部分は、撮像装置１Ａの撮影領域の外形を示した枠ＦＲＭ（以下、「他装置撮影領域枠ＦＲＭ」ともいう）として表示される。
ユーザは、ライブビュー画像に重複して表示される撮像装置１Ａの撮影領域の一部の表示によって、撮像装置１Ａの撮影条件（撮像装置１Ｂとの装置間距離、撮像装置１Ａの高さや角度、主要被写体との距離等）を直感的に把握することができ、撮像装置１Ａ，１Ｂの位置の決定に反映させることができる。
第１の撮影パターンの場合では、被写***置ラインにおける撮影領域の大きさが同一であり、重複量も十分であるため、パノラマ動画を構成する動画を撮影するのに好適な撮影視点であることがわかる。従って、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができ、仮位置として配置した第１の撮影パターンで、撮影を行えばパノラマ動画を構成する動画に好適な撮影視点での撮影を行うことができる。
In such a first imaging pattern, the imaging region of the
In the
By displaying a part of the imaging region of the
In the case of the first shooting pattern, the size of the shooting area in the subject position line is the same, and the amount of overlap is sufficient, so that the shooting viewpoint is suitable for shooting a moving image that forms a panoramic moving image. Recognize. Therefore, the user can use the display on the
図３は、第２の撮影パターンの説明をするための模式図である。
第２の撮影パターンは、撮像装置１を側面視した図３（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとが同じ高さで、撮像装置１Ｂが上向きとなる異なる角度に調整された状態である（高さ：一致，角度：不一致）。
また、第２の撮影パターンでは、撮像装置１を平面視した図３（ｂ）に示すように、撮像装置１Ａが被写***置ラインに近く、異なる被写体距離となり、重複領域ができるような装置間の距離（以下、「装置間距離」という）に設置された状態である（被写体距離：不一致，重複領域：あり）。
第２の撮影パターンは、撮像装置１Ｂの角度が上向きであり、撮像装置１Ａが被写***置ラインに近づいた状態である点が第１の撮影パターンと相違する。
このような条件下において撮影を行うと、撮像装置１Ａと撮像装置１Ｂとの被写***置ラインにおける撮影領域の大きさが異なる（撮影領域の大きさ：不一致）。
FIG. 3 is a schematic diagram for explaining the second imaging pattern.
As shown in FIG. 3A when the
Further, in the second shooting pattern, as shown in FIG. 3B when the
The second shooting pattern is different from the first shooting pattern in that the angle of the
When shooting is performed under such conditions, the size of the shooting area in the subject position line of the
このような第２の撮影パターンでは、撮像装置１Ｂを基準にして、互いの被写***置ラインにおける撮影領域との位置関係で示した図３（ｃ）に示すように、撮像装置１Ａの被写***置ラインにおける撮影領域が撮像装置１Ｂの被写***置ラインにおける撮影領域よりも小さくなり、撮像装置１Ａの被写***置ラインにおける撮影領域は上辺が短い台形形状となっており、撮像装置１Ｂの被写***置ラインにおける撮影領域の下方で奥側に傾いているように見える形となる。
撮像装置１Ｂでは、図３（ｄ）に示すようなライブビュー画像の左側の下方の一部の領域に撮像装置１Ａの被写***置ラインにおける撮影領域の重複部分が他装置撮影領域枠ＦＲＭとして表示される。
ユーザは、ライブビュー画像に重複して表示される撮像装置１Ａの被写***置ラインにおける撮影領域の一部の表示によって、撮像装置１Ｂのライブビュー画像の左下方で奥側に傾いているために撮像装置１Ｂが上方に傾いていること、撮像装置１Ｂのライブビュー画像よりも小さいために、撮像装置１Ａが撮像装置１Ｂよりも被写***置ラインに近い位置、即ち、撮像装置１Ｂの手前に位置していることを直感的に把握することができる。
第２の撮影パターンの場合では、他装置撮影領域枠ＦＲＭが歪であるためにパノラマ動画を構成する動画を撮影するのに適さない可能性のある撮影視点であることがわかる。
これにより、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができ、撮像装置１Ａ，１Ｂの位置や姿勢を調整する判断をしたりすることができる。
In such a second shooting pattern, the subject position line of the
In the
The user is imaged because the user is tilted to the back in the lower left of the live view image of the
In the case of the second shooting pattern, it can be seen that this is a shooting viewpoint that may not be suitable for shooting a moving image constituting a panoramic video because the other device shooting area frame FRM is distorted.
Thereby, the user can use the display on the
以上、動画システムＳにおける動画の同期パノラマ撮影について説明した。
次に、動画システムＳにおける動画の同期パノラマ再生について説明する。
Heretofore, the synchronized panorama shooting of moving images in the moving image system S has been described.
Next, the synchronized panorama reproduction of the moving image in the moving image system S will be described.
動画の同期パノラマ再生は、動画再生装置２において、撮像装置１Ａ，１Ｂから取得した複数の動画で１つの領域となるような動画のうちの一部の領域を表示し、スクロール操作等があった場合に、一部の動画から他の動画の表示領域へと表示を変更するようにして、パノラマ動画を表示する。また、動画の同期パノラマ再生は、それぞれ同期撮影された動画を用いる。
動画再生装置２に設けられる表示部１１８に表示される動画は、全ての動画ではなく、一部の動画であり、表示されていない動画は動画の再生に係る再生処理を停止している。再生処理が停止している動画は、スクロール操作等があり、表示領域に該当する時に、再生処理が開始される。再生処理の開始は、現在表示されている動画が次のＩフレーム画像になった時に、行う。即ち、表示領域の変化は、互いのフレーム画像がＩフレーム画像となった時に行われることになる。これにより、不要な処理をすることなく動画の表示領域の変更が可能となる。
Synchronous panorama playback of moving images has a scroll operation or the like in the moving
The moving images displayed on the
なお、表示領域の変更がない場合には、メインに表示されている動画の一部と他の動画の一部との重複部分は、必要に応じて、合成処理されて表示される。一方、表示領域の変更がされている場合には、メインで表示されている動画を前面で再生し、重複した一部の動画を背面で再生する。画面ではメインで表示されている動画が表示されているように見えることになる。このように、表示領域の変更がされている場合に、動画の前後関係で表示の処理をすることにより、重複部分の合成処理を行わないために、処理負担が軽減する。表示領域の変更している最中であるため、多少の画像の劣化や親和性の低さは着目されないために、処理負担の軽減を優先することが可能となる。 When there is no change in the display area, an overlapping portion between a part of the moving image currently displayed on the main screen and a part of another moving image is combined and displayed as necessary. On the other hand, when the display area is changed, the moving image displayed in the main is played in the foreground, and some overlapping moving images are played in the back. On the screen, it will appear as if the main video is being displayed. As described above, when the display area is changed, the display processing is performed in the context of the moving image, so that the overlapping portion is not combined, thereby reducing the processing load. Since the display area is being changed, attention is not paid to some degradation of the image or low affinity, and therefore it is possible to give priority to reducing the processing load.
図４は、動画の同期パノラマ再生の具体例を示す模式図である。なお、撮像装置１Ａにより撮影された動画を「動画Ａ」といい、撮像装置１Ｂにより撮影された動画を「動画Ｂ」という。
FIG. 4 is a schematic diagram showing a specific example of synchronized panorama playback of a moving image. Note that a moving image shot by the
動画の同期パノラマ再生において、動画の同期パノラマ撮影は、図４（ａ）に示すように、撮像装置１Ａと撮像装置１Ｂとの装置の角度と高さが同じに調整され、図４（ｂ）に示すように、被写体距離が同じで、所定の重複領域ができる位置に配置されている。
即ち、図４の例では、動画の同期パノラマ再生は、パノラマ動画を構成する動画撮影として好適な撮影始点で撮影した第１の撮像パターンと同一の撮影条件である。
以下、上述した撮影条件で取得した動画データを用いて動画の同期パノラマ再生を行う例を説明する。
In synchronized panorama playback of moving images, synchronized panorama shooting of moving images is performed by adjusting the angle and height of the
That is, in the example of FIG. 4, the synchronized panorama playback of the moving image has the same shooting conditions as the first imaging pattern shot at the shooting start point suitable for moving image shooting that forms the panoramic moving image.
Hereinafter, an example in which synchronized panorama reproduction of a moving image is performed using moving image data acquired under the above-described shooting conditions will be described.
取得した動画を表示すると、図４（ｃ）乃至（ｆ）に示すようなものとなり、図中左斜めのハッチングの領域は、撮像装置１Ａにおいて撮影された撮影領域である動画Ａを示し、右斜めのハッチングの領域は、撮像装置１Ｂにおいて撮影された撮影領域である動画Ｂを示す。また、図中、交差するハッチングの領域は、動画Ａと動画Ｂとの重複領域を示している。また、表示部２１における表示領域を表示すると、図４（ｄ）乃至（ｆ）に示す縦のハッチングの領域となる。
When the acquired moving image is displayed, it becomes as shown in FIGS. 4C to 4F, and the hatched area on the left in the drawing indicates the moving image A that is a shooting region shot by the
動画の同期パノラマ再生では、まず、図４（ｄ）に示すように、動画Ａ，Ｂの撮影領域全体ではなく、１の動画の一部の撮影領域（動画Ａの一部の撮影領域）のみを表示領域（１）として表示する。この際、表示領域となっていない動画については、再生処理を停止している。即ち、動画Ｂは、処理負担の軽減のため再生処理をしない。 In the synchronized panorama playback of a moving image, first, as shown in FIG. 4D, not only the entire shooting areas of the moving images A and B, but only a shooting area of one moving image (a shooting area of a portion of the moving image A). Is displayed as the display area (1). At this time, the reproduction process is stopped for the moving image that is not the display area. That is, the moving image B is not played back to reduce the processing load.
また、動画の同期パノラマ再生では、ユーザの操作等により、スクロールの指示があった場合には、表示領域（１）からスクロール方向へ変更して行く。この際、スクロールによって、図４（ｅ）に示すように重複領域に表示領域（２）・・・（３）がさしかかった場合には、現在再生している動画Ａを前面で表示する。これにより、重複部分の合成処理の負担を軽減する。なお、本実施形態においては、スクロール状態の重複領域は、合成処理を行わずに、動画の前後関係により表示することにより構成したがこれに限られず、重複するフレーム画像を合成した合成フレーム画像を表示するようにしてもよい。
その後、重複部分において、スクロールが停止されて、静止状態となった場合には、動画の視認性を考慮して、動画Ａと動画Ｂの合成処理を行う。即ち、静止状態となった場合には、動画Ａのフレーム画像と動画Ｂのフレーム画像とを合成した合成フレーム画像を表示する。
Also, in the synchronized panorama playback of a moving image, when a scroll instruction is given by a user operation or the like, the display area (1) is changed in the scroll direction. At this time, when the display area (2)... (3) is approaching the overlapping area as shown in FIG. 4E by scrolling, the currently reproduced moving image A is displayed on the front. As a result, the burden of combining processing of overlapping portions is reduced. In the present embodiment, the overlapping area in the scroll state is configured by displaying the moving image before and after the combining process without performing the combining process. However, the present invention is not limited to this, and a combined frame image obtained by combining overlapping frame images You may make it display.
Thereafter, when the scrolling is stopped and the stationary state is reached in the overlapping portion, the processing of combining the moving image A and the moving image B is performed in consideration of the visibility of the moving image. In other words, when a stationary state is reached, a combined frame image obtained by combining the frame image of moving image A and the frame image of moving image B is displayed.
スクロールが再開されて、図４（ｆ）に示すような位置が表示領域（３）となった場合には、動画Ｂのみを再生処理して、動画Ａの再生処理を行わない。 When the scrolling is resumed and the position as shown in FIG. 4F becomes the display area (3), only the moving image B is reproduced, and the reproduction processing of the moving image A is not performed.
以上、動画の同期パノラマ再生について説明した。
次に、動画システムにおいて、動画の同期パノラマ撮影を行う撮像装置１について説明する。
In the above, the synchronous panorama reproduction of the moving image has been described.
Next, the
図５は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
FIG. 5 is a block diagram illustrating a hardware configuration of the
The
撮像装置１は、図５に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、センサ部１８と、ＧＰＳ部１９と、入力部２０と、表示部２１と、記憶部２２と、通信部２３と、ドライブ２４と、を備えている。
As shown in FIG. 5, the
ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は、記憶部２２からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
The
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３及び画像処理部１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、センサ部１８、ＧＰＳ部１９、入力部２０、表示部２１、記憶部２２、通信部２３及びドライブ２４が接続されている。
撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
The
Although not shown, the
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured with a lens that collects light, such as a focus lens and a zoom lens, in order to capture an image of the subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。この撮像部１７の出力信号を、以下、「撮像画像のデータ」という。この撮像画像のデータが、パノラマ画像の生成に用いられる元画像のデータとして用いられることになる。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing and output as an output signal of the
センサ部１８は、例えば加速度センサで構成され、装置の角度、高さ、向き等の姿勢を検出する。
ＧＰＳ部１９は、ＧＰＳ衛生Ｓｔからの信号を受信して現在位置を測位する。
The
The
入力部２０は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部２１は、ディスプレイで構成され、画像を表示出力する。表示部２１では、取得した画像をリアルタイムに表示すると共に、通信部２３により取得した情報も当該画像上にリアルタイムに表示する。
The
The
記憶部２２は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２３は、インターネットを含むネットワークＮを介して他の装置（図示せず）との間で行う通信を制御する。通信部２３は、他の装置からの情報をリアルタイムに受信する等の他装置間での通信をリアルタイムに行う。
The
The
ドライブ２４には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２４によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２２にインストールされる。また、リムーバブルメディア３１は、記憶部２２に記憶されている画像のデータ等の各種データも、記憶部２２と同様に記憶することができる。
A
次に、このような撮像装置１の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成について説明する。
Next, among the functional configurations of the
図６は、このような撮像装置１の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成を示す機能ブロック図である。
「動画の同期パノラマ撮影処理」とは、複数の撮像装置１Ａ，１Ｂにおいて撮影したそれぞれの撮影領域をつなぎ合わせて表示することでパノラマ表示を行える動画を撮影するまでの一連の処理である。この動画の同期パノラマ撮影処理では、互いの撮像装置１Ａ，１Ｂにおいて撮影を同期する処理も合わせて行う。また、動画の同期パノラマ撮影処理では、撮影位置の決定に際して、互いの撮影領域の一部が重複するように、撮像装置１Ｂの表示部２１において、他の撮像装置１Ａの重複する撮影領域がわかるように表示する処理も合わせて行う。
FIG. 6 is a functional block diagram showing a functional configuration for executing the moving image synchronous panorama shooting process among the functional configurations of the
The “synchronous panorama shooting processing of moving images” is a series of processing until shooting of moving images that can be displayed in a panorama by connecting and displaying respective shooting areas shot by the plurality of
動画の同期パノラマ撮影処理を実行する場合には、図６に示すように、ＣＰＵ１１において、撮像制御部５１と、撮像画像取得部５２と、表示制御部５３と、撮像条件取得部５４と、主要被写体特定部５５と、被写体撮影平面特定部５６と、被写体撮影領域特定部５７と、位置関係特定部５８と、記憶制御部５９と、が機能する。
記憶部２２の一領域には、撮像画像記憶部９１と、動画記憶部９２とが設けられる。
撮像画像記憶部９１には、撮像部１７によって出力されたライブビュー画像を含む撮像画像データが一時記憶される。
動画記憶部９２には、撮像画像を圧縮処理した動画データが記憶される。
When executing the synchronous panorama shooting processing of a moving image, as shown in FIG. 6, in the
A captured image storage unit 91 and a moving
The captured image storage unit 91 temporarily stores captured image data including a live view image output by the
The moving
撮像画像取得部５２は、ライブビュー画像を取得して、記憶部２２の撮像画像記憶部９１に一時的にデータを格納する。
The captured
表示制御部５３は、取得したライブビュー画像を表示部２１に表示させる制御を行う。結果として、表示部２１にライブビュー画像が表示される。
また、表示制御部５３は、特定した位置関係に基づいて、他の撮像装置１Ａの被写体撮影領域を、ライブビュー画像上に枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように表示部２１を制御する。結果として、表示部２１においては、ライブビュー画像上に被写体撮影領域の外縁を示す矩形の枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）が表示される。これにより、ユーザは、表示部２１への表示を動画の同期パノラマ撮影における撮影ガイドとして利用することができる。
The
The
撮像条件取得部５４は、自機（撮像装置１Ｂ）及び他の撮像装置１Ａの撮影条件（装置の垂直方向の角度情報、高さ情報、位置情報及びレンズの水平方向の向き情報等）を取得する。
また、撮像条件取得部５４は、自機（撮像装置１Ｂ）からは、センサ部１８から装置の垂直方向の角度情報及び高さ情報を取得し、ＧＰＳ部１９から装置の絶対位置情報及びレンズの水平方向の向き情報を取得する。
撮像条件取得部５４は、他の撮像装置１Ａからは、他の撮像装置１Ａに搭載されるセンサ部１８やＧＰＳ部１９から取得した撮影条件である撮影領域情報（装置の垂直方向の角度情報、高さ情報、位置情報及びレンズの水平方向の向き情報等）を、通信部２３を介して取得する。
本実施形態においては、撮像条件取得部５４によって取得された装置の絶対位置情報から撮影位置が特定され、装置の垂直方向の角度情報及びレンズの水平方向の向き情報から撮影方向が特定され、装置の垂直方向の角度情報、高さ情報及びレンズの水平方向の向き情報から撮影画角が特定されることとなる。
また、撮像条件取得部５４は、他の撮像装置１Ａからの撮影位置、撮影方向及び撮影画角の情報を、撮影位置、撮影方向及び撮影画角の情報として取得してもよいし、撮影位置、撮影方向及び撮影画角が特定可能な装置の絶対位置情報、レンズの水平方向の向き情報、装置の垂直方向の角度情報及び高さ情報から取得してもよい。
The imaging
Further, the imaging
The imaging
In the present embodiment, the shooting position is specified from the absolute position information of the apparatus acquired by the imaging
In addition, the imaging
主要被写体特定部５５は、撮像領域における主要被写体の位置を特定する。具体的には、主要被写体特定部５５は、例えば、撮像領域の中心付近でフォーカシングされた被写体や、ユーザが指定した被写体を主要被写体として特定する。
The main
被写体撮影平面特定部５６は、主要被写体特定部５５により特定された主要被写体の位置に基づいて、被写体撮影平面を特定する。具体的には、被写体撮影平面特定部５６は、例えば、特定された主要被写体と、撮像部１７からの光軸が直交する方向を被写体撮影平面として特定する。なお、被写体撮影平面の特定は、撮像部からの光軸に限らず、ユーザが視認することができる撮像装置の向き等から撮像装置に対応する平面を設定し、当該設定した平面に対して主要被写体が平行になる平面を被写体撮影平面としてもよい。
The subject shooting
被写体撮影領域特定部５７は、他の撮像装置１Ａにおける被写体平面上で特定した撮影領域である被写体撮影領域を特定する。具体的には、被写体撮影領域特定部５７は、特定された被写体撮影平面を他の撮像装置１Ａにおける撮像領域で区切った領域を被写体撮影領域として特定する。
The subject shooting
位置関係特定部５８は、自機（撮像装置１Ｂ）の撮影領域と他の撮像装置１Ａの被写体撮影領域との位置関係を特定する。即ち、位置関係特定部５８は、自機（撮像装置１Ｂ）の撮影領域と他の撮像装置１Ａの被写体撮影領域との傾き、距離、高さ等の位置関係を特定する。これにより、自機（撮像装置１Ｂ）の撮影領域に対する他の撮像装置１Ａの被写体撮影領域の位置がわかるため、自機（撮像装置１Ｂ）の撮影領域を基準としたライブビュー画像において他の撮像装置１Ｂの被写体撮影領域を位置関係に基づいて大きさや傾きや高さを変えて表示させることができる。
The positional
記憶制御部５９は、撮像部１７によって撮像された撮像画像のデータを、動画をＭＰＥＧ形式で記憶するように動画記憶部９２を制御する。また、同期撮影の指示により、動画を記憶する場合には、Ｉフレーム画像等の圧縮処理を同期させる。同期は、例えば、他の撮像装置においてフレーム番号と、圧縮処理を対応させることにより行う。
また、記憶制御部５９は、動画の記憶に際して、フレーム番号に対応付けて、位置関係特定部５８により特定されたフレーム画像毎の位置関係の情報（以下、「位置関係情報」という）を記憶する。
The
In addition, when storing a moving image, the
以上、図５の撮像装置の機能的構成のうち、動画の同期パノラマ撮影処理を実行するための機能的構成について説明した。
次に、このような機能的構成を有する撮像装置１が実行する動画の同期パノラマ撮影処理について説明する。
In the foregoing, the functional configuration for executing the moving image synchronous panorama shooting process has been described among the functional configurations of the imaging apparatus of FIG.
Next, a synchronized panorama shooting process of a moving image performed by the
図７は、図６の機能的構成を有する図５の撮像装置１が実行する動画の同期パノラマ撮影処理の流れを説明するフローチャートである。
動画の同期パノラマ撮影処理は、ユーザによる入力部２０への動画の同期パノラマ撮影処理開始の操作がなされることにより、開始される。その後、撮像制御部５１により、撮像部１７への撮像指示が行われ、撮像処理が開始されることとなる。
FIG. 7 is a flowchart for explaining the flow of the synchronized panorama shooting process of moving images executed by the
The moving image synchronous panorama shooting process is started when the user performs an operation of starting the moving image synchronous panorama shooting process to the
ステップＳ１において、撮像画像取得部５２は、撮像画像をライブビュー画像として取得して、記憶部２２の撮像画像記憶部９１に一時的にデータを格納し、表示制御部５３は、取得したライブビュー画像を表示部２１に表示させる制御を行う。結果として、表示部２１にライブビュー画像が表示される。
In step S1, the captured
ステップＳ２において、撮像条件取得部５４は、センサ部１８から自機の撮像装置の垂直方向の角度情報及び高さ情報、ＧＰＳ部１９から自機の撮像装置の絶対位置情報及びレンズの水平方向の向き情報を取得する。自機の撮像装置の絶対位置情報から自機の撮影位置がわかるようになり、装置の垂直方向の角度情報及びレンズの水平方向の向き情報から自機の撮影方向がわかるようになり、自機の撮像装置の垂直方向の角度情報及び高さ情報レンズの水平方向の向き情報から自機の撮影画角がわかるようになる。
In step S <b> 2, the imaging
ステップＳ３において、撮像条件取得部５４は、通信部２３を介して他の撮像装置からの撮影条件の情報の送信要求を受信したか否かを判定する。
他の撮像装置からの撮影条件の情報の送信要求を受信していない場合には、ステップＳ３においてＮＯと判定されて、処理はステップＳ５に進む。ステップＳ５以降の処理については後述する。
In step S <b> 3, the imaging
If no transmission request for shooting condition information from another imaging apparatus has been received, it is determined as NO in Step S3, and the process proceeds to Step S5. The processing after step S5 will be described later.
これに対して、他の撮像装置からの撮影条件の情報の送信要求を受信している場合には、ステップＳ３においてＹＥＳと判定されて、処理はステップＳ４に進む。 On the other hand, when the transmission request of the imaging condition information from another imaging apparatus is received, it is determined as YES in Step S3, and the process proceeds to Step S4.
ステップＳ４において、撮像条件取得部５４は、他の撮像装置に対して撮影条件の送信を許可するとともに、この送信許可に応答して他の撮像装置から送信されてくる撮影位置、撮影方向、撮影画角などの撮影領域情報を含む撮影条件の情報を取得する。
In step S <b> 4, the imaging
ステップＳ５において、主要被写体特定部５５は、撮像領域における主要被写体の位置を特定する。
In step S5, the main
ステップＳ６において、被写体撮影平面特定部５６は、主要被写体特定部５５により特定された主要被写体の位置に基づいて、主要被写体の位置を含む被写体撮影平面を特定する。
In step S <b> 6, the subject shooting
ステップＳ７において、被写体撮影領域特定部５７は、他の撮像装置における被写体撮影平面上で特定した撮影領域である被写体撮影領域を特定する。
In step S7, the subject shooting
ステップＳ８において、位置関係特定部５８は、自機の撮像装置の撮影位置、撮影方向、撮影画角と他の撮像装置から受信した撮影位置、撮影方向及び撮影画角とに基づいて、自機の撮影領域と他の撮像装置の被写体撮影領域との位置関係を特定する。
In step S8, the positional
ステップＳ９において、表示制御部５３は、特定した位置関係に基づいて、他の撮像装置の被写体撮影領域を、ライブビュー画像上に枠ＦＲＭとして表示させるように表示部２１を制御する。結果として、表示部２１においては、ライブビュー画像上に被写体撮影領域の外縁を示す矩形の枠ＦＲＭが表示される。
In step S9, the
ステップＳ１０において、記憶制御部５９は、動画の撮影記憶中か否かを判定する。
動画の撮影記憶中でない場合には、ステップＳ１０においてＮＯと判定されて、処理はステップＳ１１に進む。
In step S10, the
If a moving image is not being recorded and stored, NO is determined in step S10, and the process proceeds to step S11.
ステップＳ１１において、撮像制御部５１は、同期撮影の開始指示があったか否かを判定する。
同期撮影の開始指示がない場合には、ステップＳ１１においてＮＯと判定されて処理はステップＳ２に戻る。
In step S11, the
If there is no instruction to start synchronous shooting, NO is determined in step S11, and the process returns to step S2.
同期撮影の開始指示があった場合には、ステップＳ１１においてＹＥＳと判定されて処理はステップＳ１２に進む。 If there is an instruction to start synchronous shooting, YES is determined in step S11, and the process proceeds to step S12.
ステップＳ１２において、記憶制御部５９は、フレーム番号１から動画の撮影及び圧縮記憶の動作を開始して、処理はステップＳ２に戻る。
In step S12, the
これに対して、動画の撮影記憶中である場合には、ステップＳ１０においてＹＥＳと判定されて、処理はステップＳ１３に進む。 On the other hand, if a moving image is being captured and stored, YES is determined in step S10, and the process proceeds to step S13.
ステップＳ１３において、記憶制御部５９は、現在動画撮影記憶中のフレーム番号に対応付けて、位置関係情報を記憶する。
In step S13, the
ステップＳ１４において、撮像制御部５１は、同期撮影の終了指示があったか否かを判定する。
同期撮影の終了指示がない場合には、ステップＳ１４においてＮＯと判定されて処理はステップＳ２に戻る。
In step S14, the
If there is no instruction to end synchronous shooting, NO is determined in step S14, and the process returns to step S2.
これに対して、同期撮影の終了指示があった場合には、ステップＳ１４においてＹＥＳと判定されて処理はステップＳ１５に進む。 On the other hand, if there is an instruction to end synchronous shooting, YES is determined in step S14, and the process proceeds to step S15.
ステップＳ１５において、記憶制御部５９は、撮影記憶した動画データに対して、各フレームの位置関係情報のリストを付加して記憶する。その後、動画の同期パノラマ撮影処理は終了する。
また、各撮像装置は、動画の同期パノラマ撮影処理終了後に、動画再生装置２に対して、各フレームの位置関係情報のリストを付加した動画データを送信する。各フレームの位置関係情報のリストを付加した動画データを取得した動画再生装置２は、動画の同期再生処理を行うこととなる。
In step S15, the
In addition, each imaging device transmits moving image data to which a list of positional relationship information of each frame is added to the moving
以上、本実施形態における撮像装置１の機能及び動作について説明した。
次に、本実施形態における動画再生装置２の機能及び動作について説明する。
Heretofore, the function and operation of the
Next, the function and operation of the
図８は、本発明の一実施形態に係る動画再生装置２のハードウェアの構成を示すブロック図である。
動画再生装置２は、例えばパーソナルコンピュータとして構成される。
FIG. 8 is a block diagram showing a hardware configuration of the
The moving
動画再生装置２は、図８に示すように、ＣＰＵ１１１〜ドライブ１２２を備えている。ＣＰＵ１１１〜ドライブ１２２の各々は、図５のＣＰＵ１１〜ドライブ２４と基本的に同様の構成と機能を有している。また、リムーバブルメディア１３１は、図５のリムーバブルメディア３１と同様の構成と機能を有している。
従って、動画再生装置２のハードウェア構成の説明は省略する。
このように構成される動画再生装置２においては、各撮像装置から取得した位置関係情報のリストが付加された動画データを再生して、パノラマ動画の再生を行う機能を有する。動画再生装置２においては、パノラマ動画の再生時には、各生成動画の一部の領域のみを表示し、スクロール操作に対応して、残余の領域と、他の動画データの領域を再生する。また、動画再生装置２においては、表示領域にかからない他の動画データは、再生を行わずに、スクロール操作で、表示対象となった場合にのみ再生を行うように構成される。
As shown in FIG. 8, the moving
Therefore, description of the hardware configuration of the moving
The moving
以上、システムにおける動画再生装置２のハードウェア構成について説明した。
次に、動画再生装置２の機能的構成のうち、動画の同期パノラマ再生処理を実行するための機能的構成について説明する。
図９は、図８の動画再生装置２の機能的構成のうち、動画の同期パノラマ再生を実行するための機能的構成を示す機能ブロック図である。
「動画の同期パノラマ再生処理」とは、各撮像装置から取得した位置関係情報のリストが付加された動画データを再生して、パノラマ動画の再生を行うまでの一連の処理である。この動画の同期パノラマ再生処理においては、パノラマ動画の再生時に、各生成動画の一部の領域のみを表示し、スクロール操作に対応して、残余の領域と、他の動画データの領域を再生する処理を含む。
The hardware configuration of the
Next, among the functional configurations of the
FIG. 9 is a functional block diagram showing a functional configuration for executing synchronized panoramic playback of a moving image, among the functional configurations of the moving
The “synchronous panorama playback process of moving images” is a series of processes from playback of moving image data to which a list of positional relationship information acquired from each imaging device is added until playback of a panoramic video. In the synchronized panorama playback processing of this video, only the partial area of each generated video is displayed during playback of the panoramic video, and the remaining area and other video data areas are played back in response to the scroll operation. Includes processing.
動画の同期パノラマ再生処理を実行する場合には、図９に示すように、ＣＰＵ１１１において、動画取得部１５１と、再生制御部１５２と、位置関係情報取得部１５３と、入力検出部１５４と、表示制御部１５５と、表示動画特定部１５６と、表示画像生成部１５７と、が機能する。
記憶部１１９の一領域には、動画記憶部１９１が設けられる。
動画記憶部１９１には、各フレームの位置関係情報のリストが付加された動画データが記憶される。
When executing the synchronized panorama playback processing of moving images, as shown in FIG. 9, in the
A moving
The moving
動画取得部１５１は、撮像装置１Ａ，１Ｂで同期パノラマ撮影を行って記憶された複数の動画データを取得する。取得した動画データには、各フレームに対応した動画の撮影領域と他の撮像装置の被写体撮影領域との位置関係のリストが付加されている。
The moving
再生制御部１５２は、動画再生のフレーム管理や復号処理（以下、「伸長処理」ともいう）等の動画データの再生に係る処理を行う。
また、再生制御部１５２は、表示制御部１５５に対して、再生すべき動画データの選択や表示すべき領域の設定等を行う。
The
In addition, the
位置関係情報取得部１５３は、各動画データに付加された位置関係情報のリストから現在の再生フレーム番号に対応する位置関係情報を取得する。位置関係情報取得部１５３は、現在の再生フレーム番号に対応する位置関係情報として、現在の再生フレームにおける撮影領域と、他の撮像装置の被写体撮影領域との位置関係を取得する。これにより、再生フレームと他のフレームとの位置関係がわかることとなる。
The positional relationship
入力検出部１５４は、入力部１１７に対する表示領域のスクロール操作や同期再生の終了指示操作を検出する。
The
表示制御部１５５は、位置関係情報によって示される複数の撮像装置の合成した撮影領域内において現在設定されている表示領域を入力検出部１５４により検出したスクロール操作に従って移動表示させるように表示部１１８を制御する。即ち、表示制御部１５５は、スクロール操作に対応して動画の表示領域を変更して画面がスクロールして移動している表示を行うように表示部１１８を制御する。
また、表示制御部１５５は、再生制御部１５２により再生するように指示された表示領域内の画像を表示画面上に表示するように表示部１１８を制御する。
The
Further, the
表示動画特定部１５６は、現在の表示領域内に一部でも撮影領域が含まれる動画データであって、当該表示領域内に他の動画データと共通しない撮影領域がある動画データを特定する。
The display moving
表示画像生成部１５７は、フレーム画像から表示領域内の画像を切り出して生成したり、取得した複数のフレーム画像を、位置関係情報が示す位置関係で合成して、表示領域内の画像を生成したりする。
The display
以上、図８の動画再生装置２の機能的構成のうち、動画の同期パノラマ再生を実行するための機能的構成について説明した。
次に、本実施形態における動画再生装置２が行う動画の同期パノラマ再生処理について説明する。
図１０は、図９の機能的構成を有する図８の動画再生装置２が実行する動画の同期パノラマ再生処理の流れを説明するフローチャートである。
動画の同期パノラマ再生処理は、ユーザによる入力部１１７への動画の同期パノラマ再生処理開始の操作がなされることにより、開始される。
Heretofore, the functional configuration for executing the synchronized panorama playback of the moving image has been described among the functional configurations of the moving
Next, the synchronized panorama reproduction process of the moving image performed by the moving
FIG. 10 is a flowchart for explaining the flow of a synchronized panorama playback process of moving images executed by the moving
The synchronized panorama playback process of the moving image is started when the user performs an operation of starting the synchronized panorama playback process of the moving image to the
ステップＳ３１において、動画取得部１５１は、撮像装置１Ａ，１Ｂで同期パノラマ撮影を行って記憶された２つの各フレームの位置関係情報のリストが付加された動画データを、通信部１２０を介して取得する。その後、動画取得部１５１は、取得した動画データを動画記憶部１９１に出力して、記憶させる。
In step S31, the moving
ステップＳ３２において、再生制御部１５２は、再生フレーム番号を１に初期化する。即ち、再生制御部１５２は、伸張処理の対象を再生フレーム番号が１のフレームとなるように初期化する。
In step S32, the
ステップＳ３３において、再生制御部１５２は、表示画面上に初期表示する動画データを選択し、当該選択した動画データの撮影領域を表示領域として初期設定する。例えば、同期再生する動画データが３つある場合は、１つの動画データを選択すると共に、再生フレームのどの部分を表示領域とするかを設定する。
In step S33, the
ステップＳ３４において、位置関係情報取得部１５３は、各動画データに付加された位置関係情報のリストから現在の再生フレーム番号に対応する位置関係情報を取得する。
In step S34, the positional relationship
ステップＳ３５において、入力検出部１５４は、表示領域のスクロール操作があったか否かを判定する。
表示領域のスクロール操作がなかった場合には、ステップＳ３６においてＮＯと判定されて、処理はステップＳ３７に進む。ステップＳ３７以降の処理は後述する。
In step S35, the
If there is no scrolling operation of the display area, NO is determined in step S36, and the process proceeds to step S37. The processing after step S37 will be described later.
ステップＳ３６において、表示制御部１５５は、位置関係情報によって示される複数の撮像装置の合成した撮影領域内において現在設定されている表示領域を入力検出部１５４により検出したスクロール操作に従って移動表示させるように表示部１１８を制御する。
In step S <b> 36, the
ステップＳ３７において、表示動画特定部１５６は、現在の表示領域内に一部でも撮影領域が含まれる動画データであって、当該表示領域内に他の動画データと共通しない撮影領域がある動画データを特定する。
In step S <b> 37, the display moving
ステップＳ３８において、再生制御部１５２は、表示動画特定部１５６により特定された動画データの中で、伸長（復号）処理を停止している動画データがあれば、次のＩフレーム位置から復号処理を開始する。
In step S38, if there is moving image data for which the decompression (decoding) processing is stopped in the moving image data specified by the display moving
ステップＳ３９において、再生制御部１５２は、表示動画特定部１５６により特定された全ての動画データから現在の再生フレーム番号に対応するフレーム画像を取得する。
In step S39, the
ステップＳ４０において、再生制御部１５２は、全てのフレーム画像が取得できたか否かを判定する。
全てのフレーム画像が取得できていない場合には、ステップＳ４０においてＮＯと判定されて、処理はステップＳ４３に進む。ステップＳ４３以降の処理は後述する。
これに対して、全てのフレーム画像が取得できている場合には、ステップＳ４０においてＹＥＳと判定されて、処理はステップＳ４１に進む。
In step S40, the
If all the frame images have not been acquired, NO is determined in step S40, and the process proceeds to step S43. The processing after step S43 will be described later.
On the other hand, if all the frame images have been acquired, YES is determined in step S40, and the process proceeds to step S41.
ステップＳ４１において、表示画像生成部１５７は、取得した複数のフレーム画像を、位置関係情報が示す位置関係で合成して、表示領域内の画像を生成する。
In step S41, the display
ステップＳ４２において、表示制御部１５５は、生成した表示領域内の画像を表示画面上に更新表示するように表示部１１８を制御する。その結果、表示部１１８には、合成した画像が表示されることになる。
In step S42, the
ステップＳ４３において、再生制御部１５２は、再生フレーム番号を次に進める。
In step S43, the
ステップＳ４４において、入力検出部１５４は、同期再生の終了指示があったか否かを判定する。
同期再生の終了指示がなかった場合には、ステップＳ４４においてＮＯと判定されて、処理はステップＳ３４に戻る。
同期再生の終了指示があった場合には、ステップＳ４４においてＹＥＳと判定されて、動画の同期パノラマ再生処理は終了する。
In step S44, the
If there is no instruction to end synchronous reproduction, NO is determined in step S44, and the process returns to step S34.
If there is an instruction to end synchronized playback, YES is determined in step S44, and the synchronized panorama playback process of the moving image ends.
なお、上述した実施形態においては、動画再生装置２をパーソナルコンピュータとして構成したが、同期撮影を行う撮像装置１として構成してもよい。この場合、撮像装置１においては、図５のハードウェア構成において、図６及び図９の機能構成（詳細には、ＣＰＵ１１１の機能）を備えるように構成する。即ち、撮像装置１においては、図６のハードウェアにおいて、記憶部２２の動画記憶部９２に記憶される動画データを図９のＣＰＵ１１１の機能（動画取得部１５１乃至表示画像生成部１５７）により、上述した動画の同期パノラマ再生処理を実行して表示部２１にスクロール操作に対応したパノラマ動画の再生が行われるように構成される。
In the above-described embodiment, the moving
＜変形例＞
上述した実施形態においては、２台の撮像装置で同期パノラマ撮影をした動画を用いて、同期パノラマ再生を行う例を示したが、本例では、３台の撮像装置を用いた例について説明する。
<Modification>
In the above-described embodiment, an example in which synchronized panorama reproduction is performed using a moving image obtained by synchronous panorama shooting with two imaging devices has been described. In this example, an example in which three imaging devices are used will be described. .
図１１は、３台の撮像装置を用いて、異なる対象を主要被写体とした場合のパノラマ合成を示すための模式図である。 FIG. 11 is a schematic diagram for illustrating panorama synthesis when a different object is a main subject using three imaging devices.
図１１（ａ）の例においては、手前に「列車」があり、「列車」の奥川に複数の「山」からなる「山並」をロケーションとして撮影する。
このようなロケーションにおいて、図中、撮像装置１Ａがパノラマとしたい範囲の左側の領域を撮影領域とし、撮像装置１Ｂが中央付近の領域を撮影領域とし、撮像装置１Ｃが右側の領域を撮影領域とするように配置されている。なお、本例においては、撮像装置の高さ角度は同じであり、装置の向きや主要被写体との距離（被写***置ラインとの距離）における位置関係が異なる。
In the example of FIG. 11A, there is a “train” in the foreground, and “mountain” consisting of a plurality of “mountains” is photographed as a location on the back river of the “train”.
In such a location, in the figure, the left area of the range that the
それぞれの撮像装置の撮像範囲は、重複しており、撮像装置１Ａの撮影領域の一部と、撮像装置１Ｂの撮影領域の一部とが重複しており、撮像装置１Ｂの撮影領域の一部と、撮像装置１Ａ及び撮像装置１Ｃの撮影領域の一部とが重複している。
The imaging ranges of the respective imaging devices overlap, and a part of the imaging region of the
この互いに重複する部分は、例えば、「山並」を主要被写体とした場合には、図１１（ｂ）に示すように重複する部分が多くなり、「列車」を主要被写体とした場合には、図１１（ｃ）に示すように重複する部分が少なくなる。つまり、撮像装置と主要被写体との距離によって、主要被写体（被写***置ラインとの距離）が遠ければ被写体撮影領域が大きくなって重複する部分が多くなり、主要被写体（被写***置ラインとの距離）が近ければ被写体撮影領域が小さくなって重複する部分が少なくなることがわかる。 For example, when “Yamanami” is the main subject, the overlapping portions increase as shown in FIG. 11B, and when “Train” is the main subject, As shown in 11 (c), there are fewer overlapping portions. That is, depending on the distance between the imaging device and the main subject, if the main subject (distance to the subject position line) is far away, the subject shooting area becomes larger and there are more overlapping parts, and the main subject (distance to the subject position line) becomes larger. It can be seen that the closer the subject shooting area is, the smaller the overlapping portion is.
このような関係において、共通する領域を上限としてパノラマ画像を合成したり、パノラマ動画の再生を行ったりすることができる。 In such a relationship, a panoramic image can be synthesized or a panoramic video can be reproduced with a common area as an upper limit.
以上のように構成される動画システムＳのうち撮像装置１Ｂは、撮像部１７と、表示部２１と、通信部２３と、表示制御部５３と、を備える。
表示部２１は、撮像部１７により撮像した撮像画像を表示する。
通信部２３は、他の撮像装置１Ａの撮影領域に関する撮影領域情報を、当該他の撮像装置１Ａからリアルタイムに受信する。
表示制御部５３は、通信部２３により受信した撮影領域情報に基づいて、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように表示部２１を制御する。
これにより、撮像装置１Ｂでは、撮影領域情報に基づいて、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示する。
従って、ユーザは、例えば、ライブビュー画像上に表示される他の撮像装置１Ａの撮影領域に関する情報をリアルタイムに確認しながら、撮影位置の変更を行うことができる。その結果、他の撮像装置１Ａの撮影領域を考慮した撮影位置の決定がなされることで、より好適な撮像画像を得ることができるようになる。
Of the moving image system S configured as described above, the
The
The
Based on the shooting area information received by the
Thereby, in the
Therefore, for example, the user can change the shooting position while confirming in real time information related to the shooting area of the
また、表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの撮影領域を画定する枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの撮影領域を画定する枠ＦＲＭとして、撮像画像の撮影領域上に表示させるために、ユーザは、撮像画像の撮影領域の視認性を低下させることなく直感的に他の撮像装置１Ａの撮影領域を認識することができる。
In addition, the
Thereby, in order to display the information indicating the positional relationship with the imaging region of the
また、表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの特定の被写体距離における撮影領域を示す枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、撮像装置１では、他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの特定の被写体距離に基づいて規定するために、例えば、撮像画像の撮影領域に特定の被写体が写り込んでいた場合には同一の基準により撮影領域を示す枠ＦＲＭを表示させることができるために、ユーザはより直感的に撮像画像の撮影領域における他の撮像装置１Ａの撮影領域を認識することができるようになる。
In addition, the
Thereby, in the
また、撮像装置１Ｂは、撮影領域内において主要被写体を特定する主要被写体特定部５５と、を備える。
表示制御部５３は、撮像部１７により撮像された撮像画像の撮影領域と他の撮像装置１Ａの撮影領域との位置関係を示す情報を、他の撮像装置１Ａの光軸に直交し、かつ、主要被写体特定部５５により特定される主要被写体の位置を含む被写体撮影平面上での他の撮像装置１Ａの撮影領域を示す枠ＦＲＭとして表示するように表示部２１を制御する。
これにより、撮像装置１Ｂにおいては、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭは、他の撮像装置１Ａと被写体との所定の位置関係によって決定されることになり、ユーザは、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭをより直感的に認識することができるようになる。
In addition, the
The
Thereby, in the
また、撮像装置１Ｂは、撮影領域の位置関係を特定する位置関係特定部５８と、を備える。
撮影領域情報には、撮影位置、撮影方向、撮影画角が含まれるように構成される。
位置関係特定部５８は、通信部２３により受信した他の撮像装置１Ａの撮影領域情報に含まれる撮像部１７の撮影位置、撮影方向、撮影画角と、自機の撮影位置、撮影方向、撮影画角とに基づいて、自機の撮影領域と他の撮像装置の撮影領域との位置関係を特定する。
これにより、撮像装置１Ｂでは、他の撮像装置１Ａの撮影領域を示す枠ＦＲＭは装置の姿勢も考慮することになり、枠ＦＲＭの形状をより詳細に設定することができるようになる。これにより、ユーザは、より直感的に他の撮像装置１Ａの撮影領域を示す枠ＦＲＭを認識することができる。
In addition, the
The shooting area information is configured to include a shooting position, a shooting direction, and a shooting angle of view.
The positional
Thereby, in the
また、撮影領域情報には、撮影位置おいて高さを特定し、撮影方向においては上下方向を含む。
これにより、撮像装置１Ｂでは、他の撮像装置の撮影領域を示す枠ＦＲＭは撮像装置のより詳細な姿勢も考慮することになり、枠ＦＲＭの形状をより詳細に設定することができるようになる。これにより、ユーザは、より直感的に他の撮像装置の撮影領域を示す枠ＦＲＭを認識することができる。
Further, the shooting area information specifies the height at the shooting position, and includes the vertical direction in the shooting direction.
As a result, in the
表示制御部５３は、自機（撮像装置１Ｂ）と他の撮像装置１Ａで同期した撮影を行って得られた２つの画像を、各々の撮影領域の重なり位置を合わせて合成する同期パノラマ撮影における撮影ガイドとして、各々の撮影領域の位置関係を示す情報を表示部２１に表示するように制御する。
従って、撮像装置１Ｂにおける撮影処理においては、同期パノラマ撮影における撮影ガイドとして利用することができる。
In synchronous panoramic shooting, the
Therefore, in the shooting process in the
また、撮像装置１Ｂは、撮像部１７における撮像を制御する撮像制御部５１と、を備える。
撮像制御部５１は、自機（撮像装置１Ｂ）と他の撮像装置１Ａで同期して動画撮影を行うように撮像部１７を制御する。
これにより、撮像装置１Ｂにおいては、動画による同期パノラマ撮影を行うことができるようになる。
The
The
As a result, the
また、表示制御部５３は、他の撮像装置が２台以上である場合には、複数の撮像装置の各々に対応する複数の撮影領域を示す枠ＦＲＭを表示するように表示部２１を制御する。
これにより、撮像装置１Ｂにおいては、複数の他の撮像装置の撮影領域を確認することができるようになる。
In addition, when there are two or more other imaging devices, the
Thereby, in the
また、表示部２１は、撮像制御部５１により自機１Ｂと他の撮像装置１Ａで同期して動画撮影を行って得られた複数の動画データを同期して再生表示する。
表示制御部５３は、表示部２１により各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生させる。
これにより、撮像装置１は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。
In addition, the
The
As a result, the
また、表示制御部５３は、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように表示部２１を制御する。
これにより、撮像装置１は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。
In addition, the
As a result, the
また、撮像装置１は、撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成部１５７と、を備える。
表示制御部５３は、表示画像生成部１５７により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように表示部２１を制御する。
これにより、撮像装置１では、パノラマ動画において、一部の領域を表示領域とした場合にスクロール表示により、パノラマ動画の所定の領域を表示させることができるようになる。
In addition, the
The
As a result, the
以上のように構成される動画システムＳのうち、動画再生装置２は、表示部１１８と、表示制御部１５５と、を備える。
表示部１１８は、複数の動画データを再生表示する。
表示制御部１５５は、各撮像装置１Ａ，１Ｂで撮像した撮影領域の一部が重なるようにして複数の撮像装置１Ａ，１Ｂで同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように表示部１１８を制御する。
これにより、動画再生装置２は、一連の領域を複数同期撮影して生成された通常の画角よりも広い画角となるパノラマ動画として再生表示させることが可能となる。
Of the moving image system S configured as described above, the moving
The
The
Thereby, the moving
また、動画再生装置２は、撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成部１５７と、を備える。
表示制御部１５５は、表示画像生成部１５７により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために合成フレーム画像内の表示の位置を変化させるように表示部１１８を制御する。
これにより、動画再生装置２では、パノラマ動画において、一部の領域を表示領域とした場合にスクロール表示により、パノラマ動画の所定の領域を表示させることができるようになる。
In addition, the moving
The
As a result, the moving
また、表示画像生成部１５７は、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成することで合成フレーム画像を生成する。
これにより、動画再生装置２では、スクロール位置において表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するために、合成に係る処理負担が軽減される。
In addition, the display
Thereby, in the moving
動画再生装置２は、動画の伸長処理を制御する再生制御部１５２と、を備える。
再生制御部１５２は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する。
これにより、動画再生装置２では、表示されない動画に対しての伸長処理を行わないように制御するために、伸張処理の処理負担を軽減することができる。
The moving
The
As a result, the moving
また、再生制御部１５２は、伸長処理を停止していた動画データの伸長処理を再開する場合には、他の動画データの再生中のフレームと同じタイミングで撮影された当該動画データのフレーム位置がＩフレームの位置になるまで待ってから伸長処理を開始する。
これにより、動画再生装置２では、Ｉフレーム以外でのスクロール時の表示処理を考慮する必要がなく不要な処理を行う必要がないため、処理負担を軽減することができる。
Also, when resuming the expansion processing of the moving image data for which the expansion processing has been stopped, the
Thereby, in the moving
また、表示制御部１５５は、少なくともスクロール中においては、各々の動画データ内のＩフレームだけを利用して合成表示を繰り返すことで、Ｉフレーム単位でスクロールを行うように表示部１１８を制御する。
これにより、動画再生装置２では、Ｉフレーム以外でのスクロール時の表示処理を考慮する必要がなく不要な処理を行う必要がないため、処理負担を軽減することができる。
The
Thereby, in the moving
また、再生制御部１５２は、隣の動画データとの重なり部分が表示対象となっている動画データについては、重ならない部分の表示が必要でないタイミングでは伸長処理を停止する。
これにより、動画再生装置２では、表示されていない領域の動画データの伸張処理を行わないために、表示に係る処理負担を軽減することができる。
Also, the
As a result, the moving
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、他の撮像装置の撮像領域は、全画面にライブビュー画像表示させて、重複部分のみ枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように構成したがこれに限られない。例えば、ライブビュー画像を狭めて、他の撮像装置の撮像領域の全てを枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示させるように構成してもよい。 In the above-described embodiment, the imaging region of the other imaging device is configured to display the live view image on the entire screen and display only the overlapping portion as the frame FRM (other device imaging region frame FRM). Absent. For example, the live view image may be narrowed so that the entire imaging area of another imaging apparatus is displayed as a frame FRM (another apparatus imaging area frame FRM).
また、上述した実施形態では、複数の動画をパノラマ再生する例について説明したがこれに限られない。例えば、単に、同一の被写体を、撮影の方向を変えて複数の撮像装置で撮影する場合に、他方の撮像装置の画角との違いを表示部において表示するために、共通する主要被写体を含めて被写体撮影領域を表示するように構成してもよい。このように構成することで、ユーザは、他の撮像装置での撮影視点の違いを視認することができる。 In the above-described embodiment, an example in which a plurality of moving images are panorama reproduced has been described. However, the present invention is not limited to this. For example, when the same subject is shot with a plurality of imaging devices while changing the shooting direction, a common main subject is included in order to display the difference from the angle of view of the other imaging device on the display unit. The subject shooting area may be displayed. By configuring in this way, the user can visually recognize the difference in shooting viewpoints in other imaging devices.
図１２は、自機から他の撮像装置の撮影始点を表示する一例を示す模式図である。
図１２（ａ）の例で示すように、被写体撮影領域の表示を行わない他の撮像装置１Ｄは、主要被写体に対して、正対した撮影視点（アングルＡ）となっている。一方の被写体撮影領域の表示を行う撮像装置１Ｅ（自機）は、主要被写体を他の撮像装置１Ｄとは異なる方向から撮影視点（アングルＢ）となっている。この場合、他の撮像装置１Ｄの撮像部（図示せず）の光軸と直角の方向で主要被写体を含む領域（平面）が被写***置ライン上で構成される被写体撮影平面となり、当該被写体撮影平面の撮影領域が被写体撮影領域となる。
このような他の撮像装置１Ｃと自機（撮像装置１Ｄ）と主要被写体（被写***置ラインとの距離）の位置関係においては、自機（撮像装置１Ｄ）の表示部（図示せず）には、図１２（ｂ）に示すように、アングルＢにおける画像が表示されると共に、アングルＢから見た被写体撮影領域が枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）として表示される。図１２（ａ）の配置においては、自機（撮像装置１Ｅ）の撮影領域よりも、被写体撮影領域の手前側（図中右側）から奥側（図中左側）に行くに従って、自機（撮像装置１Ｅ）から遠ざかることになるために、被写体撮影領域を示す枠ＦＲＭ（他装置撮影領域枠ＦＲＭ）は小さく表示されることになる。従って、ユーザは、直感的に、他の撮像装置１Ｄにおける主要被写体を含む撮影領域との位置関係を把握することができる。
FIG. 12 is a schematic diagram illustrating an example of displaying the shooting start point of another imaging apparatus from the own device.
As shown in the example of FIG. 12A, the
In such a positional relationship between the
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画の同期パノラマ撮影機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to general electronic devices having a synchronized panorama shooting function for moving images. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 6 is merely an example, and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
また、上述の実施形態では、本発明が適用される動画再生装置２は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、動画の同期パノラマ再生機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、撮像装置、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
Further, in the above-described embodiment, the moving
For example, the present invention can be applied to general electronic devices having a synchronized panorama playback function for moving images. Specifically, for example, the present invention can be applied to an imaging device, a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a smartphone, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図９の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が動画再生装置２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図９の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 9 is merely an example, and is not particularly limited. That is, it is sufficient that the moving
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記憶媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a storage medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記憶媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア３１及び図８のリムーバブルメディア１３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記憶媒体等で構成される。リムーバブルメディア３１及びリムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される憶媒体は、例えば、プログラムが記憶されている図５のＲＯＭ１２及び図８のＲＯＭ１１２や、図５の記憶部２２及び図８の記憶部１１９に含まれるハードディスク等で構成される。
The storage medium including such a program is not limited to the removable medium 31 shown in FIG. 5 and the
なお、本明細書において、記憶媒体に記憶されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program stored in the storage medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall device configured by a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段により撮像した撮像画像を表示する表示手段と、
他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、前記他の撮像装置の撮影領域を画定する枠として表示するように前記表示手段を制御する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、他の撮像装置の特定の被写体距離における撮影領域を示す枠として表示するように前記表示手段を制御する、
ことを特徴とする付記２に記載の撮像装置。
［付記４］
前記撮影領域内において主要被写体を特定する主要被写体特定手段と、を備え、
前記表示制御手段は、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、他の撮像装置の光軸に直交し、かつ、前記主要被写体特定手段により特定される前記主要被写体の位置を含む平面上で区画される他の撮像装置の撮影領域を示す枠として表示するように前記表示手段を制御する、
ことを特徴とする付記３に記載の撮像装置。
［付記５］
前記撮影領域の位置関係を特定する位置関係特定手段と、を備え、
前記撮影領域情報には、撮影位置、撮影方向、撮影画角が含まれ、
前記位置関係特定手段は、前記受信手段により受信した他の撮像装置の前記撮影領域情報に含まれる撮像手段の撮影位置、撮影方向、撮影画角と、自機の撮影位置、撮影方向、撮影画角とに基づいて、自機の撮影領域と他の撮像装置の撮影領域との位置関係を特定する、
ことを特徴とする付記１乃至４の何れか１つに記載の撮像装置。
［付記６］
前記撮影領域情報には、前記撮影位置おいて高さを特定し、前記撮影方向においては上下方向を含む、
ことを特徴とする付記５に記載の撮像装置。
［付記７］
前記表示制御手段は、自機と他の撮像装置で同期した撮影を行って得られた２つの画像を、各々の撮影領域の重なり位置を合わせて合成する同期パノラマ撮影における撮影ガイドとして、各々の撮影領域の位置関係を示す情報を表示手段に表示するように制御する、
ことを特徴とする付記１乃至６の何れか１つに記載の撮像装置。
［付記８］
前記撮像手段における撮像を制御する撮像制御手段と、を備え、
前記撮像制御手段は、自機と他の撮像装置で同期して動画撮影を行うように前記撮像手段を制御する、
ことを特徴とする付記７に記載の撮像装置。
［付記９］
前記表示制御手段は、他の撮像装置が２台以上である場合には、複数の撮像装置の各々に対応する複数の撮影領域を示す枠を表示するように表示手段を制御する、
ことを特徴とする付記１乃至８の何れか１つに記載の撮像装置。
［付記１０］
前記撮像制御手段により自機と他の撮像装置で同期して動画撮影を行って得られた複数の動画データを同期して再生表示する同期再生手段と、
前記同期再生手段により各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生させる同期再生制御手段と、
を備えることを特徴とする付記８に記載の撮像装置。
［付記１１］
前記同期再生制御手段は、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記同期再生手段を制御することを特徴とする付記１０に記載の撮像装置。
［付記１２］
前記撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成手段と、を備え、
前記同期再生制御手段は、前記表示画像生成手段により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように前記同期再生手段を制御する、
ことを特徴とする付記１１に記載の撮像装置。
［付記１３］
撮像手段と、当該撮像手段により撮像した撮像画像を表示する表示手段と、他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、を備える撮像装置が実行する撮像方法において、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする撮像方法。
［付記１４］
撮像手段と、当該撮像手段により撮像した撮像画像を表示する表示手段と、他の撮像装置の撮影領域に関する撮影領域情報を、当該他の撮像装置からリアルタイムに受信する受信手段と、を備える撮像装置を制御するコンピュータを、
前記受信手段により受信した前記撮影領域情報に基づいて、前記撮像手段により撮像された前記撮像画像の撮影領域と他の撮像装置の撮影領域との位置関係を示す情報を、撮像画像上にリアルタイムに表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
［付記１５］
複数の動画データを再生表示する表示手段と、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする表示装置。
［付記１６］
前記撮影領域の一部が重なる複数のフレーム画像を合成して合成フレーム画像を生成する表示画像生成手段と、を備え、
前記表示制御手段は、前記表示画像生成手段により生成された合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示し、スクロールの指示に応じて該表示領域内に表示するために前記合成フレーム画像内の表示の位置を変化させるように表示手段を制御する、
ことを特徴とする付記１５に記載の表示装置。
［付記１７］
前記表示画像生成手段は、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成することで前記合成フレーム画像を生成する、
ことを特徴とする付記１６に記載の表示装置。
［付記１８］
動画の伸長処理を制御する再生制御手段と、を備え、
前記再生制御手段は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び前記合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する、
ことを特徴とする付記１７に記載の表示装置。
［付記１９］
前記再生制御手段は、伸長処理を停止していた動画データの伸長処理を再開する場合には、他の動画データの再生中のフレームと同じタイミングで撮影された当該動画データのフレーム位置がＩフレームの位置になるまで待ってから伸長処理を開始する、
ことを特徴とする付記１８に記載の表示装置。
［付記２０］
前記表示制御手段は、少なくともスクロール中においては、各々の動画データ内のＩフレームだけを利用して合成表示を繰り返すことで、Ｉフレーム単位でスクロールを行うように表示手段を制御する、
ことを特徴とする付記１９に記載の表示装置。
［付記２１］
前記再生制御手段は、隣の動画データとの重なり部分が表示対象となっている動画データについては、重ならない部分の表示が必要でないタイミングでは伸長処理を停止する、
ことを特徴とする付記１８乃至２０の何れか１つに記載の表示装置。
［付記２２］
複数の動画データを再生表示する表示手段を備える表示装置で実行される表示方法において、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする表示方法。
［付記２３］
複数の動画データを再生表示する表示手段を備える表示装置を制御するコンピュータを、
各撮像装置で撮像した撮影領域の一部が重なるようにして複数の撮像装置で同期撮影して得られた複数の動画データを同期再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成しながら１つの動画として再生表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Imaging means;
Display means for displaying a captured image captured by the imaging means;
Receiving means for receiving, in real time, imaging region information relating to the imaging region of another imaging device from the other imaging device;
Based on the imaging area information received by the receiving means, information indicating the positional relationship between the imaging area of the captured image captured by the imaging means and the imaging area of another imaging device is displayed on the captured image in real time. Display control means for controlling the display means to display;
An imaging apparatus comprising:
[Appendix 2]
The display control unit displays information indicating a positional relationship between a shooting region of the captured image captured by the imaging unit and a shooting region of another imaging device as a frame demarcating the shooting region of the other imaging device. Controlling the display means to
The imaging apparatus according to
[Appendix 3]
The display control unit indicates information indicating a positional relationship between a shooting region of the captured image captured by the imaging unit and a shooting region of another imaging device, and indicates a shooting region at a specific subject distance of the other imaging device. Controlling the display means to display as a frame;
The imaging apparatus according to
[Appendix 4]
A main subject specifying means for specifying a main subject in the photographing region,
The display control unit is configured to display information indicating a positional relationship between a shooting region of the captured image captured by the imaging unit and a shooting region of another imaging device, orthogonal to the optical axis of the other imaging device, and Controlling the display means to display as a frame indicating a shooting area of another imaging device partitioned on a plane including the position of the main subject specified by the main subject specifying means;
The imaging apparatus according to
[Appendix 5]
A positional relationship specifying means for specifying the positional relationship of the imaging region,
The shooting area information includes a shooting position, a shooting direction, and a shooting angle of view.
The positional relationship specifying unit includes a shooting position, a shooting direction, a shooting angle of view of an imaging unit included in the shooting area information of another imaging device received by the receiving unit, a shooting position, a shooting direction, and a shot image of the own device. Based on the angle, specify the positional relationship between the shooting area of the own device and the shooting area of another imaging device,
The imaging apparatus according to any one of
[Appendix 6]
The shooting area information specifies a height at the shooting position, and includes a vertical direction in the shooting direction.
The imaging apparatus according to appendix 5, which is characterized in that.
[Appendix 7]
The display control means uses each image as a shooting guide in synchronized panorama shooting that combines two images obtained by performing shooting synchronized with the own device and another imaging device by matching the overlapping positions of the shooting regions. Control to display on the display means information indicating the positional relationship of the imaging region,
The imaging apparatus according to any one of
[Appendix 8]
Imaging control means for controlling imaging in the imaging means,
The imaging control means controls the imaging means so as to perform moving image shooting in synchronization with the own device and another imaging device,
The imaging apparatus according to appendix 7, wherein the imaging apparatus is characterized.
[Appendix 9]
The display control unit controls the display unit to display frames indicating a plurality of imaging regions corresponding to each of the plurality of imaging devices when there are two or more other imaging devices.
The imaging apparatus according to any one of
[Appendix 10]
Synchronous reproduction means for synchronously reproducing and displaying a plurality of moving image data obtained by performing moving image shooting synchronously between the own apparatus and another imaging device by the imaging control means;
Synchronous reproduction control means for synchronously reproducing a plurality of moving image data obtained by synchronous imaging with a plurality of imaging devices so that a part of imaging regions imaged by each imaging device overlap with each other by the synchronous reproduction means;
The imaging apparatus according to appendix 8, characterized by comprising:
[Appendix 11]
The synchronized playback control unit controls the synchronized playback unit to reproduce and display a plurality of frame images captured at the same timing as one moving image while compositing such that a part of the captured area overlaps. The imaging apparatus according to appendix 10.
[Appendix 12]
Display image generating means for generating a composite frame image by combining a plurality of frame images in which a part of the imaging region overlaps,
The synchronized playback control means cuts out a part of the composite frame image generated by the display image generating means and displays it in a display area of a predetermined size, and displays it in the display area in response to a scroll instruction. Controlling the synchronous reproduction means to change the position of display in the composite frame image;
The imaging apparatus according to
[Appendix 13]
An imaging apparatus comprising: an imaging unit; a display unit that displays a captured image captured by the imaging unit; and a reception unit that receives, in real time, imaging region information regarding the imaging region of the other imaging device from the other imaging device. In the imaging method executed by
Based on the imaging area information received by the receiving means, information indicating the positional relationship between the imaging area of the captured image captured by the imaging means and the imaging area of another imaging device is displayed on the captured image in real time. A display control step for controlling the display means to display;
An imaging method comprising:
[Appendix 14]
An imaging apparatus comprising: an imaging unit; a display unit that displays a captured image captured by the imaging unit; and a reception unit that receives, in real time, imaging region information regarding the imaging region of the other imaging device from the other imaging device. Control the computer,
Based on the imaging area information received by the receiving means, information indicating the positional relationship between the imaging area of the captured image captured by the imaging means and the imaging area of another imaging device is displayed on the captured image in real time. Display control means for controlling the display means to display;
A program characterized by functioning as
[Appendix 15]
Display means for reproducing and displaying a plurality of video data;
When synchronously reproducing a plurality of moving image data obtained by synchronous imaging with a plurality of imaging devices so that a part of the imaging region captured by each imaging device is overlapped, a plurality of frame images captured at the same timing are displayed. Display control means for controlling the display means so as to reproduce and display as one moving image while compositing so that a part of the shooting area overlaps;
A display device comprising:
[Appendix 16]
Display image generating means for generating a composite frame image by combining a plurality of frame images in which a part of the imaging region overlaps,
The display control means cuts out a part of the composite frame image generated by the display image generation means and displays it in a display area of a predetermined size, and displays it in the display area in response to a scroll instruction. Controlling the display means to change the display position in the composite frame image;
[Appendix 17]
The display image generation means combines the plurality of frame images by excluding a frame image that is not displayed in the display area at the scroll position at that time from the frame image of each moving image data that has become the reproduction timing. Generate frame images,
[Appendix 18]
Playback control means for controlling the expansion process of the video,
The playback control means combines and displays each compressed video data while decompressing, stops the decompression process for the video data while not related to the composite display, and the video data is again synthesized by scrolling. Resuming the decompression process of the video data from the frame taken at the same timing as the frame during the reproduction of the other video data at the timing related to the generation of the frame image,
[Appendix 19]
When the reproduction control unit restarts the expansion process of the moving image data that has been stopped, the frame position of the moving image data captured at the same timing as the frame during the reproduction of the other moving image data is the I frame. Wait until it reaches the position before starting the decompression process.
[Appendix 20]
The display control means controls the display means to perform scrolling in units of I frames by repeating composite display using only I frames in each moving image data at least during scrolling.
[Appendix 21]
The reproduction control means stops the decompression process at a timing at which the display of the non-overlapping portion is not necessary for the moving image data for which the overlapping portion with the adjacent moving image data is to be displayed.
The display device according to any one of
[Appendix 22]
In a display method executed by a display device including display means for reproducing and displaying a plurality of moving image data,
When synchronously reproducing a plurality of moving image data obtained by synchronous imaging with a plurality of imaging devices so that a part of the imaging region captured by each imaging device is overlapped, a plurality of frame images captured at the same timing are displayed. A display control step for controlling the display means so as to reproduce and display as one moving image while synthesizing so that a part of the shooting area overlaps;
A display method comprising:
[Appendix 23]
A computer for controlling a display device comprising display means for reproducing and displaying a plurality of moving image data,
When synchronously reproducing a plurality of moving image data obtained by synchronous imaging with a plurality of imaging devices so that a part of the imaging region captured by each imaging device is overlapped, a plurality of frame images captured at the same timing are displayed. Display control means for controlling the display means so as to reproduce and display as one moving image while compositing so that a part of the shooting area overlaps;
A program characterized by functioning as
１・・・撮像装置，２・・・動画再生装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・センサ部，１９・・・ＧＰＳ部，２０・・・入力部，２１・・・表示部２１・・・記憶部，２３・・・通信部，２４・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・撮像画像取得部，５３・・・表示制御部，５４・・・撮像条件取得部，５５・・・主要被写体特定部，５６・・・被写体撮影平面特定部，５７・・・被写体撮影領域特定部，５８・・・位置関係特定部，５９・・・記憶制御部，９１・・・撮像画像記憶部，９２・・・動画記憶部，１１１・・・ＣＰＵ，１１２・・・ＲＯＭ，１１３・・・ＲＡＭ，１１４・・・画像処理部，１１５・・・バス，１１６・・・入出力インターフェース，１１７・・・入力部，１１８・・・表示部，１１９・・・記憶部，１２０・・・通信部，１２１・・・ドライブ，１３１・・・リムーバブルメディア，１５１・・・動画取得部，１５２・・・再生制御部，１５３・・・位置関係情報取得部，１５４・・・入力検出部，１５５・・・表示制御部，１５６・・・表示動画特定部，１５７・・・表示画像生成部，１９１・・・動画記憶部
DESCRIPTION OF
Claims (9)
前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段と、At each timing during the reproduction display of the moving image by the reproduction display means, a part of the composite frame image is cut out and displayed in a display area of a predetermined size, and displayed in the display area in response to a scroll instruction. Scroll control means for controlling the reproduction display means to change the cutout position in the composite frame image;
前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段と、A plurality of frames excluding a frame image that is not displayed in the display area at the current scroll position among frame images of each moving image data that has become a reproduction timing at each timing during the reproduction display of the moving image by the reproduction display means. Image composition control means for controlling the reproduction display means so as to compose an image;
を備えたことを特徴とする表示制御装置。A display control apparatus comprising:
ことを特徴とする請求項１に記載の表示制御装置。The display control apparatus according to claim 1.
前記再生制御手段は、圧縮された各々の動画データを伸長しながら合成表示し、合成表示に係わっていない間の動画データについては伸長処理を停止しておき、スクロールによって当該動画データが再び前記合成フレーム画像の生成に係わるようになるタイミングで、他の動画データの再生中のフレームと同じタイミングで撮影されたフレームから当該動画データの伸長処理を再開する、
ことを特徴とする請求項１または２に記載の表示制御装置。 Playback control means for controlling the expansion process of the video,
The playback control means combines and displays each compressed video data while decompressing, stops the decompression process for the video data while not related to the composite display, and the video data is again synthesized by scrolling. Resuming the decompression process of the video data from the frame taken at the same timing as the frame during the reproduction of the other video data at the timing related to the generation of the frame image,
The display control apparatus according to claim 1 , wherein the display control apparatus is a display control apparatus .
ことを特徴とする請求項３に記載の表示制御装置。 When the reproduction control unit restarts the expansion process of the moving image data that has been stopped, the frame position of the moving image data captured at the same timing as the frame during the reproduction of the other moving image data is the I frame. Wait until it reaches the position before starting the decompression process.
The display control apparatus according to claim 3 .
ことを特徴とする請求項４に記載の表示制御装置。 The scroll control means controls the reproduction display means to perform scrolling in units of I frames by repeating composite display using only I frames in each moving image data at least during scrolling.
The display control apparatus according to claim 4 .
ことを特徴とする請求項３乃至５の何れか１項に記載の表示制御装置。 The reproduction control means stops the decompression process at a timing at which the display of the non-overlapping portion is not necessary for the moving image data for which the overlapping portion with the adjacent moving image data is to be displayed.
The display control apparatus according to claim 3 , wherein the display control apparatus is a display control apparatus .
を更に備えたことを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。 The display control apparatus according to claim 1 , further comprising an imaging control unit configured to control the plurality of imaging apparatuses to perform moving image shooting in synchronization.
前記動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように制御する処理と、At each timing during the playback and display of the moving image, a portion of the composite frame image is cut out and displayed in a display area of a predetermined size, and displayed in the display area in response to a scroll instruction. Processing to change the cutout position of
前記動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように制御する処理と、At each timing during the playback and display of the moving image, a plurality of frame images are synthesized by excluding the frame image that is not displayed in the display area at the current scroll position from the frame image of each moving image data that has reached the playback timing. Process to control,
を含むことを特徴とする表示制御方法。A display control method comprising:
複数の撮像装置で撮影して得られた複数の動画データを再生する場合に、同じタイミングで撮影された複数のフレーム画像を撮影領域の一部が重なるように合成して合成フレーム画像を生成しながら１つの動画として再生表示する再生表示手段、When playing back multiple movie data obtained by shooting with multiple imaging devices, a composite frame image is generated by combining multiple frame images shot at the same timing so that part of the shooting area overlaps Replay display means for replaying and displaying as one moving image,
前記再生表示手段による動画の再生表示中の各タイミングにおいて、前記合成フレーム画像の一部を切り出して所定サイズの表示領域内に表示させながら、スクロールの指示に応じて該表示領域内に表示する前記合成フレーム画像内の切り出し位置を変化させるように前記再生表示手段を制御するスクロール制御手段、At each timing during the reproduction display of the moving image by the reproduction display means, a part of the composite frame image is cut out and displayed in a display area of a predetermined size, and displayed in the display area in response to a scroll instruction. Scroll control means for controlling the reproduction display means so as to change the cutout position in the composite frame image;
前記再生表示手段による動画の再生表示中の各タイミングにおいて、再生タイミングとなった各動画データのフレーム画像のうち、その時のスクロール位置において前記表示領域内に表示されないフレーム画像を除いて、複数のフレーム画像を合成するように前記再生表示手段を制御する画像合成制御手段、A plurality of frames excluding a frame image that is not displayed in the display area at the current scroll position among frame images of each moving image data that has become a reproduction timing at each timing during the reproduction display of the moving image by the reproduction display means. Image synthesis control means for controlling the reproduction display means to synthesize an image;
として機能させることを特徴とするプログラム。A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015218055A JP6004071B2 (en) | 2015-11-06 | 2015-11-06 | Display control apparatus, display control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015218055A JP6004071B2 (en) | 2015-11-06 | 2015-11-06 | Display control apparatus, display control method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012277137A Division JP6235777B2 (en) | 2012-12-19 | 2012-12-19 | Imaging device, imaging method and program, and display device, display method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016054508A JP2016054508A (en) | 2016-04-14 |
| JP6004071B2 true JP6004071B2 (en) | 2016-10-05 |
Family
ID=55745463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015218055A Expired - Fee Related JP6004071B2 (en) | 2015-11-06 | 2015-11-06 | Display control apparatus, display control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6004071B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3466080A4 (en) * | 2016-06-07 | 2020-01-08 | Visbit Inc. | Virtual reality 360-degree video camera system for live streaming |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3472273B2 (en) * | 2001-03-07 | 2003-12-02 | キヤノン株式会社 | Image reproducing apparatus, image processing apparatus and method |
| JP2005333552A (en) * | 2004-05-21 | 2005-12-02 | Viewplus Inc | Panorama video distribution system |
| JP2006054662A (en) * | 2004-08-11 | 2006-02-23 | Mitsubishi Electric Corp | Drive support device |
-
2015
- 2015-11-06 JP JP2015218055A patent/JP6004071B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016054508A (en) | 2016-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5804007B2 (en) | Movie generation system, movie generation method and program | |
| JP6324063B2 (en) | Image reproducing apparatus and control method thereof | |
| WO2012086326A1 (en) | 3-d panoramic image creating apparatus, 3-d panoramic image creating method, 3-d panoramic image creating program, 3-d panoramic image replay apparatus, 3-d panoramic image replay method, 3-d panoramic image replay program, and recording medium | |
| WO2009141951A1 (en) | Image photographing device and image encoding device | |
| WO2012002046A1 (en) | Stereoscopic panorama image synthesizing device and compound-eye imaging device as well as stereoscopic panorama image synthesizing method | |
| JP2012242821A (en) | Display image generation method | |
| JP6235777B2 (en) | Imaging device, imaging method and program, and display device, display method and program | |
| JP2012075018A (en) | Reproduction device and method, and program | |
| JP2011223291A (en) | Imaging apparatus, display control method, and program | |
| JP5578442B2 (en) | Imaging apparatus, image composition method, and program | |
| JP5912062B2 (en) | Imaging apparatus and moving image data recording method | |
| JPWO2011099299A1 (en) | Video extraction device, photographing device, program, and recording medium | |
| US9554112B2 (en) | Replay control apparatus for simultaneously replaying moving image data | |
| JP6238134B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2010258768A (en) | Image display device and control method thereof, program and storage medium | |
| JP6056551B2 (en) | Image processing program and digital camera | |
| JP5938655B2 (en) | Playback device, imaging device, and program | |
| JP2014123916A (en) | Image composition device, image composition method, and program | |
| JP6004071B2 (en) | Display control apparatus, display control method, and program | |
| JP2009038478A (en) | Program, image processing apparatus, imaging apparatus, and image processing method | |
| EP4007261A1 (en) | Image processing device, image processing method, and program | |
| JP5476900B2 (en) | Image composition apparatus, image composition method, and program | |
| JP2011103555A (en) | Image sensing device | |
| JP6564295B2 (en) | Composite image creation device | |
| JP2014241621A (en) | Imaging apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160822 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6004071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |