JP6474042B2

JP6474042B2 - Shooting system

Info

Publication number: JP6474042B2
Application number: JP2015124404A
Authority: JP
Inventors: 松浦篤
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2015-06-22
Filing date: 2015-06-22
Publication date: 2019-02-27
Anticipated expiration: 2035-06-22
Also published as: JP2017011464A

Description

本発明は、動画像を撮影する撮影システムに関する。 The present invention relates to a photographing system for photographing a moving image.

パノラマ動画像を撮影することが可能な撮影装置が知られている。例えば、特許文献１に、この種の撮影装置の具体的構成が記載されている。 An imaging device capable of capturing a panoramic video is known. For example, Patent Document 1 describes a specific configuration of this type of photographing apparatus.

特許文献１に記載の撮影装置は、いわゆる全天球パノラマ動画像を撮影することができる。全天球パノラマ動画像は、撮影装置の全周に及ぶ範囲を撮影し記録したものとなっている。 The imaging device described in Patent Literature 1 can capture a so-called omnidirectional panoramic moving image. The omnidirectional panoramic moving image is obtained by photographing and recording a range covering the entire circumference of the photographing apparatus.

特開２０１４−３０１０４号公報JP 2014-30104 A

特許文献１に記載の構成において、全天球パノラマ動画像を単純に出力するだけでは、定点観測のような抑揚の無い動画像が再生されることになる。ユーザが視聴したい注視領域の動画像を再生するためには、表示位置や範囲等を逐次指示操作する必要がある。しかし、このような逐次の指示操作はユーザにとって煩雑であるという問題が指摘される。 In the configuration described in Patent Document 1, simply outputting a panoramic panoramic moving image reproduces a moving image without inflection such as fixed point observation. In order to reproduce a moving image in a gaze area that the user wants to view, it is necessary to sequentially instruct the display position, range, and the like. However, it is pointed out that such a sequential instruction operation is complicated for the user.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、煩雑な操作が不要でありつつも、パノラマ動画像内の注視領域の動画像を再生するのに好適な撮影システムを提供することである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to take an image that is suitable for reproducing a moving image of a gaze area in a panoramic moving image while requiring no complicated operation. Is to provide a system.

本発明の一実施形態に係る撮影システムは、第一の画角で動画像を撮影する第一の撮影装置と、第一の画角よりも広い第二の画角で動画像を撮影する第二の撮影装置と、第一の撮影装置と第二の撮影装置との姿勢差を検出する姿勢差検出手段と、検出された姿勢差に基づいて第二の画角内における第一の撮影装置の注視方向を演算する注視方向演算手段と、演算された注視方向を第二の画角の動画像と関連付けて記録する記録手段とを備える。 An imaging system according to an embodiment of the present invention includes a first imaging device that captures a moving image at a first angle of view, and a first imaging device that captures a moving image at a second angle of view wider than the first angle of view. A second photographing device, a posture difference detecting means for detecting a posture difference between the first photographing device and the second photographing device, and a first photographing device within a second angle of view based on the detected posture difference. Gaze direction calculating means for calculating the gaze direction, and recording means for recording the calculated gaze direction in association with the moving image having the second angle of view.

また、本発明の一実施形態において、第一の撮影装置は、第一の撮影装置の姿勢を検出する第一の姿勢検出手段と、動画撮影の操作を受け付けると、動画撮影の開始を第二の撮影装置に通知すると共に第一の姿勢検出手段により検出された姿勢の情報を該第二の撮影装置に送信する第一の制御手段とを備える構成としてもよい。また、第二の撮影装置は、第二の撮影装置の姿勢を検出する第二の姿勢検出手段と、姿勢差検出手段と、第一の撮影装置より動画撮影開始の通知を受け取ると、第二の画角の動画撮影を開始する第二の制御手段とを備える構成としてもよい。この場合、姿勢差検出手段は、第二の姿勢検出手段により検出された姿勢の情報及び第一の撮影装置より受信した姿勢の情報に基づいて姿勢差を検出する。 In one embodiment of the present invention, the first photographing device receives the first posture detecting means for detecting the posture of the first photographing device, and the start of the moving image photographing upon accepting the operation of the moving image photographing. It is good also as a structure provided with the 1st control means which transmits to the 2nd imaging device the information of the attitude | position detected by the 1st attitude | position detection means while notifying to this imaging device. In addition, when the second photographing apparatus receives a notification of the start of moving image shooting from the second posture detecting means for detecting the posture of the second photographing apparatus, the posture difference detecting means, and the first photographing apparatus, It is good also as a structure provided with the 2nd control means to start video recording of the angle of view. In this case, the posture difference detection unit detects the posture difference based on the posture information detected by the second posture detection unit and the posture information received from the first photographing apparatus.

また、本発明の一実施形態において、第一の制御手段は、動画撮影の操作を受け付けると、第二の撮影装置で動画撮影が開始されるタイミングに合わせて第一の画角の動画撮影を開始する構成としてもよい。 In one embodiment of the present invention, when the first control unit accepts an operation for moving image shooting, the first control unit performs moving image shooting at the first angle of view in accordance with the timing at which the second shooting device starts moving image shooting. It may be configured to start.

また、本発明の一実施形態に係る撮影システムは、記録手段により記録された注視方向に基づいて第二の画角内における第一の撮影装置の注視点を演算する注視点演算手段と、演算された注視点及び第一の画角に基づいて第二の画角内の注視領域を演算する注視領域演算手段とを備える構成としてもよい。 An imaging system according to an embodiment of the present invention includes a gaze point calculating unit that calculates a gaze point of the first imaging device within the second angle of view based on the gaze direction recorded by the recording unit; It is good also as a structure provided with the gaze area | region calculating means which calculates the gaze area | region in a 2nd view angle based on the made gaze point and 1st view angle.

また、本発明の一実施形態に係る撮影システムは、注視領域演算手段により演算された注視領域を第二の画角の動画像から切り出し、切り出された動画像を再生する再生手段を備える構成としてもよい。 The imaging system according to an embodiment of the present invention includes a reproducing unit that cuts out the gaze area calculated by the gaze area calculating unit from the moving image having the second angle of view and reproduces the cut out moving image. Also good.

また、本発明の一実施形態に係る撮影システムは、第一の撮影装置の注視点が第二の画角の動画像の死角に入るか否かを判定する死角判定手段を備える構成としてもよい。この構成において、死角判定手段により死角に入ると判定される場合、注視点演算手段により演算された注視点に対応する注視方向がそのまま適用され、又はこれに代えて、第二の画角内の規定の方向が該注視方向として再設定されてもよい。 Moreover, the imaging system according to an embodiment of the present invention may include a blind spot determination unit that determines whether or not the gazing point of the first imaging device falls within the blind spot of the moving image having the second angle of view. . In this configuration, when it is determined by the blind spot determination means that the blind spot is entered, the gaze direction corresponding to the gaze point calculated by the gaze point calculation means is applied as it is, or alternatively, within the second angle of view. A prescribed direction may be reset as the gaze direction.

また、本発明の一実施形態において、第一の撮影装置により撮影される第一の画角の画像は、例えば第二の画角内の注視領域の画像よりも高画素である。 In one embodiment of the present invention, the image of the first field angle captured by the first imaging device has, for example, higher pixels than the image of the gaze area within the second field angle.

また、本発明の一実施形態において、第二の画角の動画像は、例えば全天球パノラマ動画像である。 In the embodiment of the present invention, the moving image having the second angle of view is, for example, an omnidirectional panoramic moving image.

本発明の一実施形態によれば、煩雑な操作が不要でありつつも、パノラマ動画像内の注視領域の動画像を再生するのに好適な撮影システムが提供される。 According to an embodiment of the present invention, there is provided an imaging system that is suitable for reproducing a moving image of a gaze area in a panoramic moving image while requiring no complicated operation.

本発明の一実施形態に係る撮影システムの概略構成を示す図である。1 is a diagram illustrating a schematic configuration of an imaging system according to an embodiment of the present invention. 本発明の一実施形態に係る撮影システムに備えられる撮影装置（通常画角の動画像を撮影するタイプ）の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus (a type that captures a moving image with a normal angle of view) provided in an imaging system according to an embodiment of the present invention. 本発明の一実施形態に係る撮影システムに備えられる撮影装置（全天球パノラマ動画像を撮影するタイプ）の模式的な外観図である。1 is a schematic external view of a photographing apparatus (a type that photographs a spherical panoramic moving image) provided in a photographing system according to an embodiment of the present invention. 本発明の一実施形態に係る撮影装置（全天球パノラマ動画像を撮影するタイプ）の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device (type which image | photographs a spherical panorama moving image) which concerns on one Embodiment of this invention. 本発明の一実施形態において撮影装置（全天球パノラマ動画像を撮影するタイプ）を使用したときの状況を例示する図である。It is a figure which illustrates the situation when the imaging device (type which image | photographs a spherical panorama moving image) is used in one Embodiment of this invention. 本発明の一実施形態において撮影装置（全天球パノラマ動画像を撮影するタイプ）により撮影された画像を説明する図である。It is a figure explaining the image image | photographed with the imaging device (type which image | photographs a spherical panorama moving image) in one Embodiment of this invention. 本発明の一実施形態に係る各撮影装置と画角との関係を示す図である。It is a figure which shows the relationship between each imaging device which concerns on one Embodiment of this invention, and a field angle. 本発明の一実施形態において２つの撮影装置間の協働により実行される動画撮影リンク処理のフローチャートを示す図である。It is a figure which shows the flowchart of the video recording link process performed by cooperation between two imaging devices in one Embodiment of this invention. 図８に示される動画撮影リンク処理を説明するための図である。It is a figure for demonstrating the moving image shooting link process shown by FIG. 本発明の一実施形態において再生装置により実行される注視動画像再生処理のフローチャートを示す図である。It is a figure which shows the flowchart of the gaze moving image reproduction | regeneration process performed by the reproducing | regenerating apparatus in one Embodiment of this invention.

以下、本発明の一実施形態に係る撮影システムについて図面を参照しながら説明する。 Hereinafter, an imaging system according to an embodiment of the present invention will be described with reference to the drawings.

［撮影システム１の構成］
図１は、本発明の一実施形態に係る撮影システム１の概略構成を示す図である。図１に示されるように、本実施形態に係る撮影システム１は、互いに通信可能な撮影装置１０及び撮影装置２０を備えている。 [Configuration of Shooting System 1]
FIG. 1 is a diagram showing a schematic configuration of a photographing system 1 according to an embodiment of the present invention. As shown in FIG. 1, the photographing system 1 according to the present embodiment includes a photographing device 10 and a photographing device 20 that can communicate with each other.

・撮影装置１０の構成
本実施形態において、撮影装置１０はデジタル一眼レフカメラである。なお、図１では、便宜上、交換レンズを取り外した状態を図示している。なお、撮影装置１０はデジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。 Configuration of the photographing apparatus 10 In the present embodiment, the photographing apparatus 10 is a digital single lens reflex camera. In FIG. 1, for convenience, the state where the interchangeable lens is removed is illustrated. Note that the photographing apparatus 10 is not limited to a digital single lens reflex camera, but includes, for example, a mirrorless single lens camera, a compact digital camera, a video camera, a camcorder, a tablet terminal, a PHS (Personal Handy phone System), a smartphone, a feature phone, a portable game machine, and the like. The apparatus may be replaced with another type of apparatus having a photographing function.

図２は、撮影装置１０の概略構成を示すブロック図である。図２に示されるように、撮影装置１０は、撮像ユニット１０２、画像処理ユニット１０４、撮像制御ユニット１０６、ＣＰＵ（Central Processing Unit）１０８、ＲＯＭ（Read Only Memory）１１０、ＳＲＡＭ（Static Random Access Memory）１１２、ＤＲＡＭ（Dynamic Random Access Memory）１１４、操作部１１６、ネットワークＩ／Ｆ１１８、通信部１２０、センサユニット１２２及びバス１２４を備えている。 FIG. 2 is a block diagram illustrating a schematic configuration of the photographing apparatus 10. As illustrated in FIG. 2, the imaging apparatus 10 includes an imaging unit 102, an image processing unit 104, an imaging control unit 106, a CPU (Central Processing Unit) 108, a ROM (Read Only Memory) 110, and an SRAM (Static Random Access Memory). 112, a DRAM (Dynamic Random Access Memory) 114, an operation unit 116, a network I / F 118, a communication unit 120, a sensor unit 122, and a bus 124.

ＣＰＵ１０８は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１０は、各種プログラムを記憶している。ＳＲＡＭ１１２及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１０８により実行されるプログラムや処理途中のデータ等を一時的に保持する。 The CPU 108 controls the overall operation of the photographing apparatus 10 and executes necessary processing. The ROM 110 stores various programs. The SRAM 112 and the DRAM 114 are work memories, and temporarily hold programs executed by the CPU 108 and data being processed.

操作部１１６は、各種操作ボタンや電源スイッチ、レリーズボタン、録画ボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部１１６を操作することにより、各種撮影モードや撮影条件等を指定することができる。 The operation unit 116 is a general term for various operation buttons, a power switch, a release button, a recording button, a touch panel that has both display and operation functions, and the like. The user can designate various shooting modes, shooting conditions, and the like by operating the operation unit 116.

撮像ユニット１０２は、レンズ１０２ａ及び撮像素子１０２ｂを備えている。レンズ１０２ａは、例えば、アスペクト比が３：２や４：３の画像を撮影するのに適した光学性能を有しており、広角レンズと望遠レンズとの中間に位置する典型的な標準レンズである。以下、説明の便宜上、レンズ１０２ａの画角を「通常画角」と記す。図７（Ａ）に、通常画角（符号１０ａ）を例示する。 The imaging unit 102 includes a lens 102a and an imaging element 102b. For example, the lens 102a has an optical performance suitable for photographing an image having an aspect ratio of 3: 2 or 4: 3, and is a typical standard lens positioned between a wide-angle lens and a telephoto lens. is there. Hereinafter, for the convenience of explanation, the angle of view of the lens 102a is referred to as “normal angle of view”. FIG. 7A illustrates a normal angle of view (symbol 10a).

撮像素子１０２ｂは、例えばベイヤー配列のカラーフィルタを有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子１０２ｂは、レンズ１０２ａを介してその受光面上に結像した光学像を撮像データに変換して出力する。なお、撮像素子１０２ｂには、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類のイメージセンサを使用してもよい。また、撮像素子１０２ｂには、ベイヤー配列以外のカラーフィルタ配列を採用してもよい。 The image sensor 102b is, for example, a single-plate color CCD (Charge Coupled Device) image sensor having a Bayer color filter. The imaging element 102b converts an optical image formed on the light receiving surface through the lens 102a into imaging data and outputs the imaging data. The image sensor 102b is not limited to a CCD image sensor, and may be a CMOS (Complementary Metal Oxide Semiconductor) image sensor or other types of image sensors. Further, a color filter array other than the Bayer array may be employed for the image sensor 102b.

撮像素子１０２ｂは、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されており、撮像制御ユニット１０６とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０６は、バス１２４を介してＣＰＵ１０８と接続されている。バス１２４には、更に、ＲＯＭ１１０、ＳＲＡＭ１１２、ＤＲＡＭ１１４、操作部１１６、ネットワークＩ／Ｆ１１８、通信部１２０、センサユニット１２２も接続されている。 The imaging element 102b is connected to the image processing unit 104 via a parallel I / F bus, and is connected to the imaging control unit 106 via a serial I / F bus (I2C bus or the like). The image processing unit 104 and the imaging control unit 106 are connected to the CPU 108 via the bus 124. Further, a ROM 110, an SRAM 112, a DRAM 114, an operation unit 116, a network I / F 118, a communication unit 120, and a sensor unit 122 are connected to the bus 124.

撮像制御ユニット１０６は、自身をマスタデバイス、撮像素子１０２ｂをスレーブデバイスとして、Ｉ２Ｃバスを介して撮像素子１０２ｂのレジスタ群にコマンド等を設定する。ここで必要なコマンド等は、ＣＰＵ１０８から受け取ったものである。また、撮像制御ユニット１０６は、同じくＩ２Ｃバスを介して撮像素子１０２ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１０８に送る。 The imaging control unit 106 sets a command or the like to a register group of the imaging device 102b via the I2C bus, using itself as a master device and the imaging device 102b as a slave device. The necessary commands and the like here are those received from the CPU 108. The imaging control unit 106 also fetches status data and the like of the register group of the imaging device 102b via the I2C bus and sends them to the CPU 108.

撮像制御ユニット１０６は、操作部１１６の録画ボタンが押されると、各フレームの撮像データの出力を撮像素子１０２ｂに指示する。画像処理ユニット１０４は、撮像素子１０２ｂより順次出力される各フレームの撮像データをパラレルＩ／Ｆバスを通して取り込み、所定の処理を施して動画像ファイルを作成する。以下、説明の便宜上、撮影装置１０により作成される動画像を「通常画角動画像」と記す。 When the recording button of the operation unit 116 is pressed, the imaging control unit 106 instructs the imaging element 102b to output imaging data of each frame. The image processing unit 104 takes in captured image data of each frame sequentially output from the image sensor 102b through a parallel I / F bus, performs predetermined processing, and creates a moving image file. Hereinafter, for convenience of explanation, a moving image created by the photographing apparatus 10 is referred to as a “normal angle-of-view moving image”.

ネットワークＩ／Ｆ１１８は、例えば、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。画像処理ユニット１０４により作成された動画像ファイルは、ネットワークＩ／Ｆ１１６を介して外付けのメディア（又は撮影装置１０の内蔵メモリ）に記録される。 The network I / F 118 is a general term for an interface circuit (USB I / F or the like) with an external medium such as an SD card or a personal computer, for example. The moving image file created by the image processing unit 104 is recorded on an external medium (or a built-in memory of the photographing apparatus 10) via the network I / F 116.

通信部１２０は、Bluetooth（登録商標）やＷｉＦｉ（Wireless Fidelity）等の短距離無線技術等により撮影装置２０等の外部装置と通信することができる。この種の通信は、無線に限らず有線で行うことができるようにしてもよい。 The communication unit 120 can communicate with an external device such as the photographing device 20 by a short-range wireless technology such as Bluetooth (registered trademark) or WiFi (Wireless Fidelity). This type of communication is not limited to wireless, and may be performed by wire.

センサユニット１２２は、例えばジャイロセンサ、加速度センサ、地磁気センサ等を含む複合センサである。ＣＰＵ１０８は、例えば録画処理中、センサユニット１２２の出力に基づいて撮影装置１０の姿勢を逐次検出する。 The sensor unit 122 is a composite sensor including, for example, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like. For example, during the recording process, the CPU 108 sequentially detects the posture of the photographing apparatus 10 based on the output of the sensor unit 122.

・撮影装置２０の構成
撮影装置２０は、全天球パノラマ動画像を撮影可能な装置である。全天球パノラマ動画像とは、４πラジアンの立体角内の像を得て、全天球の範囲の撮影によって得られるパノラマ動画像である。 -Configuration of the photographing device 20 The photographing device 20 is a device capable of photographing a panoramic moving image. The omnidirectional panoramic moving image is a panoramic moving image obtained by obtaining an image within a solid angle of 4π radians and photographing the entire celestial sphere.

図３は、撮影装置２０の模式的な外観図である。図３（Ａ）は、撮影装置２０の側面図であり、図３（Ｂ）は、図３（Ａ）とは反対側の、撮影装置２０の側面図であり、図３（Ｃ）は、撮影装置２０の平面図である。 FIG. 3 is a schematic external view of the photographing apparatus 20. 3A is a side view of the photographing apparatus 20, FIG. 3B is a side view of the photographing apparatus 20 on the opposite side to FIG. 3A, and FIG. FIG. 3 is a plan view of the imaging device 20.

図４は、撮影装置２０の概略構成を示すブロック図である。図４に示されるように、撮影装置２０は、撮像ユニット２０２、画像処理ユニット２０４、撮像制御ユニット２０６、ＣＰＵ２０８、ＲＯＭ２１０、ＳＲＡＭ２１２、ＤＲＡＭ２１４、操作部２１６、ネットワークＩ／Ｆ２１８、通信部２２０、センサユニット２２２及びバス２２４を備えている。 FIG. 4 is a block diagram illustrating a schematic configuration of the photographing apparatus 20. As illustrated in FIG. 4, the imaging device 20 includes an imaging unit 202, an image processing unit 204, an imaging control unit 206, a CPU 208, a ROM 210, an SRAM 212, a DRAM 214, an operation unit 216, a network I / F 218, a communication unit 220, and a sensor unit. 222 and a bus 224.

ＣＰＵ２０８は、撮影装置２０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ２１０は、各種プログラムを記憶している。ＳＲＡＭ２１２及びＤＲＡＭ２１４はワークメモリであり、ＣＰＵ２０８により実行されるプログラムや処理途中のデータ等を一時的に保持する。 The CPU 208 controls the overall operation of the photographing apparatus 20 and executes necessary processes. The ROM 210 stores various programs. The SRAM 212 and the DRAM 214 are work memories, and temporarily hold programs executed by the CPU 208 and data being processed.

操作部２１６は、各種操作ボタンや電源スイッチ、レリーズボタン、録画ボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部２１６を操作することにより、各種撮影モードや撮影条件等を指定することができる。 The operation unit 216 is a generic name for various operation buttons, a power switch, a release button, a recording button, a touch panel that has both display and operation functions, and the like. The user can specify various shooting modes, shooting conditions, and the like by operating the operation unit 216.

撮像ユニット２０２は、レンズ２０２Ａａ及び撮像素子２０２Ａｂを備えており、更に、レンズ２０２Ｂａ及び撮像素子２０２Ｂｂを備えている。レンズ２０２Ａａ、レンズ２０２Ｂａは、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）である。図３に示されるように、レンズ２０２Ａａは、撮影装置２０の上部正面側（一方の面側）に設けられており、レンズ２０２Ｂａは、撮影装置２０の上部背面側（他方の面側）に設けられている。以下、説明の便宜上、レンズ２０２Ａａ及びレンズ２０２Ｂａを合わせた画角を「全天球画角」と記す。図７（Ｂ）に、全天球画角（符号２０ａ）を例示する。 The imaging unit 202 includes a lens 202Aa and an imaging element 202Ab, and further includes a lens 202Ba and an imaging element 202Bb. The lenses 202Aa and 202Ba are wide-angle lenses (so-called fish-eye lenses) each having a field angle of 180 ° or more for forming a hemispherical image. As shown in FIG. 3, the lens 202 </ b> Aa is provided on the upper front side (one surface side) of the imaging device 20, and the lens 202 </ b> Ba is provided on the upper rear side (the other surface side) of the imaging device 20. It has been. Hereinafter, for the convenience of explanation, the angle of view that combines the lens 202Aa and the lens 202Ba is referred to as an “omnidirectional angle of view”. FIG. 7B illustrates the omnidirectional field angle (reference numeral 20a).

撮像素子２０２Ａｂ及び撮像素子２０２Ｂｂは、例えばベイヤー配列のカラーフィルタを有する単板式カラーＣＣＤイメージセンサである。撮像素子２０２Ａｂ、撮像素子２０２Ｂｂはそれぞれ、レンズ２０２Ａａ、レンズ２０２Ｂａを介してその受光面上に結像した光学像を撮像データに変換して出力する。なお、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂには、ＣＣＤイメージセンサに限らず、ＣＭＯＳイメージセンサやその他の種類のイメージセンサを使用してもよい。また、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂには、ベイヤー配列以外のカラーフィルタ配列を採用してもよい。 The image sensor 202Ab and the image sensor 202Bb are, for example, single-plate color CCD image sensors having color filters in a Bayer array. The image pickup element 202Ab and the image pickup element 202Bb convert an optical image formed on the light receiving surface through the lens 202Aa and the lens 202Ba, respectively, into imaging data and output it. The image sensor 202Ab and the image sensor 202Bb are not limited to the CCD image sensor, and a CMOS image sensor or other types of image sensors may be used. Further, a color filter array other than the Bayer array may be employed for the image sensor 202Ab and the image sensor 202Bb.

撮像素子２０２Ａｂ、撮像素子２０２Ｂｂは、画像処理ユニット２０４とパラレルＩ／Ｆバスで接続されており、撮像制御ユニット２０６とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット２０４及び撮像制御ユニット２０６は、バス２２４を介してＣＰＵ２０８と接続されている。バス２２４には、更に、ＲＯＭ２１０、ＳＲＡＭ２１２、ＤＲＡＭ２１４、操作部２１６、ネットワークＩ／Ｆ２１８、通信部２２０、センサユニット２２２も接続されている。 The image sensor 202Ab and the image sensor 202Bb are connected to the image processing unit 204 via a parallel I / F bus, and are connected to the image capture control unit 206 via a serial I / F bus (I2C bus or the like). The image processing unit 204 and the imaging control unit 206 are connected to the CPU 208 via the bus 224. In addition, ROM 210, SRAM 212, DRAM 214, operation unit 216, network I / F 218, communication unit 220, and sensor unit 222 are also connected to the bus 224.

撮像制御ユニット２０６は、自身をマスタデバイス、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂをスレーブデバイスとして、Ｉ２Ｃバスを介して撮像素子２０２Ａｂ、撮像素子２０２Ｂｂのレジスタ群にコマンド等を設定する。ここで必要なコマンド等は、ＣＰＵ２０８から受け取ったものである。また、撮像制御ユニット２０６は、同じくＩ２Ｃバスを介して撮像素子２０２Ａｂ、撮像素子２０２Ｂｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ２０８に送る。 The imaging control unit 206 sets a command or the like to a register group of the imaging element 202Ab and the imaging element 202Bb via the I2C bus, using itself as a master device, the imaging element 202Ab, and the imaging element 202Bb as a slave device. The necessary commands and the like here are those received from the CPU 208. In addition, the imaging control unit 206 takes in status data and the like of the register groups of the imaging device 202Ab and the imaging device 202Bb via the I2C bus and sends them to the CPU 208.

撮像制御ユニット２０６は、操作部２１６の録画ボタン（図３（Ｂ）中符号２１６ａ）が押されると、各フレームの撮像データの出力を撮像素子２０２Ａｂ、撮像素子２０２Ｂｂに指示する。画像処理ユニット２０４は、撮像素子２０２Ａｂ、撮像素子２０２Ｂｂより順次出力される各フレームの撮像データをパラレルＩ／Ｆバスを通して取り込み、フレーム毎に、双方の撮像データに対して所定の処理を施して画像データを作成し、作成された双方の画像データを合成処理してメルカトル画像（詳しくは後述）を作成する。画像処理ユニット２０４は、連続する複数のフレームのメルカトル画像をファイル化することにより、全天球パノラマ動画像ファイルを作成する。 When the recording button (reference numeral 216a in FIG. 3B) of the operation unit 216 is pressed, the imaging control unit 206 instructs the imaging element 202Ab and the imaging element 202Bb to output imaging data of each frame. The image processing unit 204 takes in the image data of each frame sequentially output from the image sensor 202Ab and the image sensor 202Bb through the parallel I / F bus, performs predetermined processing on both image data for each frame, and performs image processing. Data is created, and both the created image data are combined to create a Mercator image (details will be described later). The image processing unit 204 creates an omnidirectional panoramic moving image file by filing a plurality of continuous Mercator images.

ネットワークＩ／Ｆ２１８は、例えば、ＳＤカード等の外付けのメディアやパーソナルコンピュータ等とのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。画像処理ユニット２０４により作成された全天球パノラマ動画像ファイルは、ネットワークＩ／Ｆ２１６を介して外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録される。 The network I / F 218 is a general term for an interface circuit (USB I / F or the like) with an external medium such as an SD card or a personal computer, for example. The omnidirectional panoramic video file created by the image processing unit 204 is recorded on an external medium (or a built-in memory of the photographing apparatus 20) via the network I / F 216.

通信部２２０は、Bluetooth（登録商標）やＷｉＦｉ等の短距離無線技術等により撮影装置１０等の外部装置と通信することができる。この種の通信は、無線に限らず有線で行うことができるようにしてもよい。 The communication unit 220 can communicate with an external device such as the photographing apparatus 10 by a short-range wireless technology such as Bluetooth (registered trademark) or WiFi. This type of communication is not limited to wireless, and may be performed by wire.

センサユニット２２２は、例えばジャイロセンサ、加速度センサ、地磁気センサ等を含む複合センサである。ＣＰＵ２０８は、例えば録画処理中、センサユニット２２２の出力に基づいて撮影装置２０の姿勢を逐次検出する。 The sensor unit 222 is a composite sensor including, for example, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and the like. For example, during the recording process, the CPU 208 sequentially detects the posture of the photographing apparatus 20 based on the output of the sensor unit 222.

図５は、撮影装置２０の使用状況を例示する図である。図５に示されるように、撮影装置２０は、ユーザが手に持ってユーザの周囲の被写体を撮影するために用いられる。この場合、ユーザの周囲の被写体が各々の撮像素子２０２Ａｂ、撮像素子２０２Ｂｂによって撮像されて、２つの半球画像が得られ、４πラジアンの立体角内の像が得られる。 FIG. 5 is a diagram illustrating a usage situation of the imaging device 20. As shown in FIG. 5, the photographing device 20 is used for photographing a subject around the user by holding it in his / her hand. In this case, a subject around the user is imaged by each of the image sensor 202Ab and the image sensor 202Bb to obtain two hemispherical images, and an image within a solid angle of 4π radians.

図６は、撮影装置２０により撮影された画像の説明図である。図６（Ａ）は、レンズ２０２Ａａを介して撮影された半球画像（前側）を示し、図６（Ｂ）は、レンズ２０２Ｂａを介して撮影された半球画像（後側）を示し、図６（Ｃ）は、メルカトル図法により表されたメルカトル画像を示す。 FIG. 6 is an explanatory diagram of an image photographed by the photographing device 20. 6A shows a hemispherical image (front side) photographed through the lens 202Aa, and FIG. 6B shows a hemispherical image photographed through the lens 202Ba (rear side). C) shows a Mercator image represented by the Mercator projection.

魚眼レンズであるレンズ２０２Ａａを介して撮影された画像は、図６（Ａ）に示されるように、湾曲した半球画像（前側）となる。同じく魚眼レンズであるレンズ２０２Ｂａを介して撮影された画像は、図６（Ｂ）に示されるように、湾曲した半球画像（後側）となる。撮影装置２０において半球画像（前側）と半球画像（後側）とが合成されると、メルカトル画像が作成される（図６（Ｃ）参照）。 An image photographed through the lens 202Aa which is a fisheye lens is a curved hemispherical image (front side) as shown in FIG. An image photographed through the lens 202Ba, which is also a fisheye lens, becomes a curved hemispherical image (rear side) as shown in FIG. 6B. When the imaging device 20 combines the hemispherical image (front side) and the hemispherical image (rear side), a Mercator image is created (see FIG. 6C).

［動画撮影リンク処理］
次に、撮影装置１０と撮影装置２０との協働により実行される動画撮影リンク処理について説明する。図８に、動画撮影リンク処理のフローチャートを示す。図８に示される動画撮影リンク処理は、例えば撮影装置１０と撮影装置２０の双方で当該処理を実行するモードに設定された時点で実行が開始される。 [Movie shooting link processing]
Next, the moving image shooting link process executed by the cooperation of the shooting device 10 and the shooting device 20 will be described. FIG. 8 shows a flowchart of the moving image shooting link process. The moving image shooting link process shown in FIG. 8 is started when the mode for executing the process is set in both the shooting device 10 and the shooting device 20, for example.

［図８のＳ１１（通信状態の判定）］
本処理ステップＳ１１では、撮影装置１０及び撮影装置２０が互いに通信可能か否かを判定する。通常は、動画撮影リンク処理を実行するモードが双方で設定されると、撮影装置１０と撮影装置２０との通信が速やかに確立する。本処理ステップＳ１１にて互いに通信可能でないと判定される場合（Ｓ１１：ＮＯ）は、例えば通信関係で何らかのエラーが発生している可能性がある。この場合、動画撮影リンク処理を実行することができない。そのため、撮影装置１０及び撮影装置２０が通常の撮影モードに戻り、図８に示される動画撮影リンク処理が終了する。 [S11 in FIG. 8 (Determination of Communication Status)]
In this process step S11, it is determined whether the imaging device 10 and the imaging device 20 can communicate with each other. Normally, when the mode for executing the moving image shooting link process is set in both, communication between the shooting device 10 and the shooting device 20 is quickly established. If it is determined in this processing step S11 that communication with each other is not possible (S11: NO), for example, there is a possibility that some error has occurred due to communication. In this case, the moving image shooting link process cannot be executed. Therefore, the photographing device 10 and the photographing device 20 return to the normal photographing mode, and the moving image photographing link process shown in FIG. 8 ends.

［図８のＳ１２（動画撮影開始の通知）］
本処理ステップＳ１２は、処理ステップＳ１１（通信状態の判定）にて撮影装置１０及び撮影装置２０が互いに通信可能であると判定される場合（Ｓ１１：ＹＥＳ）に実行される。本処理ステップＳ１２では、撮影装置１０において、録画ボタンが押されると、動画撮影の開始を通知する通知信号が短距離無線通信等により撮影装置２０に送信されると共に、ＣＰＵ１０８により検出された撮影装置１０の姿勢及びレンズ１０２ａの画角の情報が撮影装置２０に送信される。 [S12 in FIG. 8 (notification of start of moving image shooting)]
This processing step S12 is executed when it is determined in processing step S11 (determination of communication state) that the imaging device 10 and the imaging device 20 can communicate with each other (S11: YES). In this processing step S12, when the recording button is pressed in the photographing apparatus 10, a notification signal notifying the start of moving image photographing is transmitted to the photographing apparatus 20 by short-range wireless communication or the like, and the photographing apparatus detected by the CPU 108 is detected. Information on the 10 postures and the angle of view of the lens 102 a is transmitted to the imaging device 20.

［図８のＳ１３（動画撮影の開始）］
本処理ステップＳ１３では、撮影装置２０において、処理ステップＳ１２（動画撮影開始の通知）にて送信された通知信号が受信されると、全天球パノラマ動画像の撮影が開始される。 [S13 in FIG. 8 (Start of Movie Shooting)]
In this process step S13, when the imaging device 20 receives the notification signal transmitted in process step S12 (notification of the start of moving image shooting), the shooting of the panoramic moving image starts.

一方、撮影装置１０は、録画ボタンが押されてから直ぐには通常画角動画像の撮影を開始していない。撮影装置１０は、撮影装置２０で全天球パノラマ動画像の撮影が開始されるタイミングに合わせて（具体的には、録画ボタンが押されてから予め決められた時間待機した後に）通常画角動画像の撮影を開始する。このような遅延時間を撮影装置１０に対して設定することにより、撮影装置１０と撮影装置２０の動画撮影の開始タイミングを同期させることができる。 On the other hand, the photographing apparatus 10 does not start photographing the normal angle-of-view moving image immediately after the recording button is pressed. The photographing device 10 has a normal angle of view in accordance with the timing when the photographing device 20 starts photographing the panoramic panoramic video (specifically, after waiting for a predetermined time after the recording button is pressed). Start shooting moving images. By setting such a delay time for the image capturing device 10, the moving image capturing start timing of the image capturing device 10 and the image capturing device 20 can be synchronized.

［図８のＳ１４（姿勢差の検出判定）］
図９は、図８に示される動画撮影リンク処理を説明するための図である。図９中、符合Ｏ_１は、全天球画角２０ａの中心点（別の観点によれば、撮影装置２０に備えられるレンズ２０２Ａａの主点とレンズ２０２Ｂａの主点とを結ぶ線分の中点）を示し、符合ＡＸは、撮影装置１０に備えられるレンズ１０２ａの光軸の延長線（及び光軸）を示す。本実施形態では、説明の便宜上、撮影装置２０は、レンズ２０２Ａａの光軸の前方側に延びる延長線が＋Ｙ軸と一致する姿勢であり、且つ撮影装置１０と撮影装置２０は、レンズ１０２ａの光軸の延長線ＡＸと全天球画角２０ａの中心点Ｏ_１とが交差すると共に所定距離離れた位置関係にあるものとする。図９中、水平面（ＸＹ面）内において＋Ｙ軸と延長線ＡＸとがなす角度を水平方向角度（方位角）θと定義し、水平面（ＸＹ面）と延長線ＡＸとがなす角度を垂直方向角度（仰角）φと定義する。 [S14 of FIG. 8 (Attitude Difference Detection Determination)]
FIG. 9 is a diagram for explaining the moving image shooting link process shown in FIG. In FIG. 9, the symbol O ₁ is the center point of the omnidirectional field angle 20a (according to another point of view, in the line segment connecting the principal point of the lens 202Aa and the principal point of the lens 202Ba provided in the photographing apparatus 20). A symbol AX indicates an extension line (and an optical axis) of the optical axis of the lens 102 a provided in the photographing apparatus 10. In the present embodiment, for convenience of explanation, the photographing apparatus 20 is in a posture in which an extension line extending to the front side of the optical axis of the lens 202Aa coincides with the + Y axis, and the photographing apparatus 10 and the photographing apparatus 20 are light beams of the lens 102a. extension of the axis AX and the center point O ₁ of the full spherical angle 20a is assumed to be in a positional relationship that a predetermined distance together with the cross. In FIG. 9, the angle between the + Y axis and the extension line AX in the horizontal plane (XY plane) is defined as the horizontal angle (azimuth angle) θ, and the angle between the horizontal plane (XY plane) and the extension line AX is the vertical direction. It is defined as an angle (elevation angle) φ.

本処理ステップＳ１４では、撮影装置２０において、現フレームにおける撮影装置１０との姿勢差の検出が試行され、姿勢差の検出が成功したか否かが判定される。姿勢差は、処理ステップＳ１２（動画撮影開始の通知）にて送信された撮影装置１０の姿勢の情報と、ＣＰＵ２０８により検出された撮影装置２０の姿勢の情報に基づいて検出される。撮影装置１０と撮影装置２０との姿勢差は、水平方向角度（方位角）θ及び垂直方向角度（仰角）φで定義される（図９参照）。 In this processing step S14, the photographing device 20 tries to detect the posture difference with the photographing device 10 in the current frame, and determines whether or not the posture difference has been successfully detected. The posture difference is detected based on the posture information of the photographing device 10 transmitted in processing step S12 (notification of the start of moving image photographing) and the posture information of the photographing device 20 detected by the CPU 208. The attitude difference between the imaging device 10 and the imaging device 20 is defined by a horizontal direction angle (azimuth angle) θ and a vertical direction angle (elevation angle) φ (see FIG. 9).

［図８のＳ１５（撮影装置１０の注視方向の演算）］
本処理ステップＳ１５は、処理ステップＳ１４（姿勢差の検出判定）にて撮影装置１０と撮影装置２０との姿勢差の検出が成功したと判定された場合（Ｓ１４：ＹＥＳ）に実行される。本処理ステップＳ１５では、撮影装置２０において、処理ステップＳ１４（姿勢差の検出判定）にて検出された姿勢差（θ，φ）に基づいて全天球画角２０ａ内における撮影装置１０の現フレームの注視方向が演算される。ここでは、＋Ｙ軸を基準として水平方向角度（方位角）がθで且つ垂直方向角度（仰角）がφとなる方向Ｄ（図９参照）が撮影装置１０の注視方向として演算される。 [S15 in FIG. 8 (Calculation of the gaze direction of the photographing apparatus 10)]
This processing step S15 is executed when it is determined in processing step S14 (attitude difference detection determination) that the detection of the attitude difference between the imaging device 10 and the imaging device 20 is successful (S14: YES). In the present processing step S15, the current frame of the imaging device 10 in the omnidirectional field angle 20a based on the attitude difference (θ, φ) detected in the processing step S14 (attitude difference detection determination) in the imaging device 20. The gaze direction is calculated. Here, a direction D (see FIG. 9) in which the horizontal direction angle (azimuth angle) is θ and the vertical direction angle (elevation angle) is φ with respect to the + Y axis is calculated as the gaze direction of the photographing apparatus 10.

［図８のＳ１６（注視方向の記録）］
本処理ステップＳ１６は、処理ステップＳ１５（撮影装置１０の注視方向の演算）にて全天球画角２０ａ内における撮影装置１０の現フレームの注視方向が演算された後、又は処理ステップＳ１４（姿勢差の検出判定）にて撮影装置１０と撮影装置２０との現フレームの姿勢差の検出が成功しなかったと判定された場合（Ｓ１４：ＮＯ）に実行される。前者の場合、撮影装置２０は、処理ステップＳ１５（撮影装置１０の注視方向の演算）にて演算された注視方向の情報、及び撮影装置１０より受信したレンズ１０２ａの画角の情報を現フレームのメルカトル画像と関連付けて、外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録する。後者の場合、撮影装置２０は、予め決められた全天球画角２０ａ内の方向を注視方向として、レンズ１０２ａの画角の情報と共に現フレームのメルカトル画像と関連付けて、外付けのメディア（又は撮影装置２０の内蔵メモリ）に記録する。 [S16 in FIG. 8 (Recording of gaze direction)]
This processing step S16 is performed after the gaze direction of the current frame of the imaging device 10 within the omnidirectional field angle 20a is calculated in the processing step S15 (calculation of the gaze direction of the imaging device 10) or processing step S14 (attitude). This is executed when it is determined that the detection of the difference in posture of the current frame between the image capturing device 10 and the image capturing device 20 has not been successful (S14: NO). In the former case, the imaging device 20 uses the current direction information of the gaze direction calculated in the processing step S15 (calculation of the gaze direction of the imaging device 10) and the angle of view information of the lens 102a received from the imaging device 10 as the current frame. In association with the Mercator image, it is recorded on an external medium (or a built-in memory of the photographing apparatus 20). In the latter case, the image capturing device 20 uses a predetermined direction within the omnidirectional angle of view 20a as a gaze direction, and associates it with the Mercator image of the current frame together with information on the angle of view of the lens 102a, and attaches an external medium (or In the internal memory of the photographing apparatus 20.

［図８のＳ１７（動画撮影終了通知の受信判定）］
撮影装置１０は、録画ボタンがもう一度押されると、動画撮影の終了を通知する通知信号を撮影装置２０に送信する。本処理ステップＳ１７では、撮影装置２０において、動画撮影の終了を通知する通知信号を撮影装置１０より受信したか否かが判定される。本処理ステップＳ１７にて該通知信号を撮影装置１０より受信していないと判定される場合（Ｓ１７：ＮＯ）、図８に示される動画撮影リンク処理は、処理ステップＳ１４（姿勢差の検出判定）に戻り、該通知信号を撮影装置１０より受信するまで、各フレームについて処理ステップＳ１４〜Ｓ１７を実行する。これにより、各フレームのメルカトル画像及びこれに関連付けられた注視方向及びレンズ１０２ａの画角の情報が得られる。 [S17 in FIG. 8 (Receiving Determination of Moving Image Shooting End Notification)]
When the recording button is pressed again, the imaging device 10 transmits a notification signal notifying the end of moving image shooting to the imaging device 20. In this processing step S <b> 17, it is determined whether or not the imaging apparatus 20 has received a notification signal from the imaging apparatus 10 that notifies the end of moving image shooting. When it is determined in step S17 that the notification signal has not been received from the imaging device 10 (S17: NO), the moving image shooting link process shown in FIG. 8 is processed in step S14 (attitude difference detection determination). The processing steps S14 to S17 are executed for each frame until the notification signal is received from the imaging apparatus 10. Thereby, the Mercator image of each frame, the gaze direction associated therewith, and the information on the angle of view of the lens 102a are obtained.

［図８のＳ１８（動画撮影の終了）］
本処理ステップＳ１８は、処理ステップＳ１７（動画撮影終了通知の受信判定）にて動画撮影の終了を通知する通知信号を撮影装置１０より受信したと判定される場合（Ｓ１７：ＹＥＳ）に実行される。本処理ステップＳ１８では、撮影装置２０が全天球パノラマ動画像の撮影を終了する。 [S18 in FIG. 8 (End of Movie Shooting)]
This processing step S18 is executed when it is determined that the notification signal for notifying the end of the moving image shooting is received from the shooting device 10 in the processing step S17 (receiving determination of the moving image shooting end notification) (S17: YES). . In this process step S18, the imaging device 20 ends the shooting of the omnidirectional panoramic moving image.

一方、撮影装置１０は、録画ボタンが押されてから直ぐには通常画角動画像の撮影を終了していない。撮影装置１０は、撮影装置２０で全天球パノラマ動画像の撮影が終了されるタイミングに合わせて（具体的には、録画ボタンが押されてから予め決められた時間待機した後に）通常画角動画像の撮影を終了する。このような遅延時間を撮影装置１０に対して設定することにより、撮影装置１０と撮影装置２０の動画撮影の終了タイミングを同期させることができる。 On the other hand, the photographing apparatus 10 does not finish photographing the normal angle-of-view moving image immediately after the recording button is pressed. The photographing apparatus 10 has a normal angle of view in accordance with the timing when the photographing of the omnidirectional panoramic video is ended by the photographing apparatus 20 (specifically, after waiting for a predetermined time after the recording button is pressed). Ends moving image shooting. By setting such a delay time for the image capturing device 10, it is possible to synchronize the end timing of moving image capturing of the image capturing device 10 and the image capturing device 20.

［注視動画像再生処理］
図１に示されるように、本実施形態に係る撮影システム１は、再生装置３０を備えている。再生装置３０は、例えば、デスクトップＰＣやノートＰＣ、タブレットＰＣ、スマートフォン等の情報処理端末であり、図８に示される動画撮影リンク処理にて作成された全天球パノラマ動画像（注視方向及びレンズ１０２ａの画角の情報がフレーム毎に関連付けられたもの）のファイルが有線通信又は無線通信を介して保存されている。 [Gaze moving image playback processing]
As shown in FIG. 1, the photographing system 1 according to the present embodiment includes a playback device 30. The playback device 30 is an information processing terminal such as a desktop PC, a notebook PC, a tablet PC, or a smartphone, for example, and an omnidirectional panoramic moving image (gaze direction and lens) created by the moving image shooting link process shown in FIG. 102a) is stored via wired communication or wireless communication.

図１０に、再生装置３０にインストールされたプログラムにより実行される注視動画像再生処理のフローチャートを示す。図９に示される注視動画像再生処理は、例えばユーザが再生装置３０に対して注視動画像の再生指示操作を行うと開始される。 FIG. 10 shows a flowchart of the gaze moving image playback process executed by the program installed in the playback device 30. The gaze moving image reproduction process shown in FIG. 9 is started when, for example, the user performs a gaze moving image reproduction instruction operation on the reproduction device 30.

［図１０のＳ２１（撮影装置１０の注視点の演算）］
本処理ステップＳ２１では、処理対象フレームについて、全天球パノラマ動画像ファイル内の注視方向の情報に基づき、全天球画角２０ａ内における撮影装置１０の注視点が演算される。具体的には、注視方向（方向Ｄ）の直線と全天球との交点Ｏ_２（図９参照）が撮影装置１０の注視点として演算される。 [S21 in FIG. 10 (Calculation of gaze point of photographing apparatus 10)]
In this processing step S21, the gazing point of the imaging device 10 within the omnidirectional field angle 20a is calculated for the processing target frame based on the information on the gazing direction in the omnidirectional panoramic video file. Specifically, the intersection point O ₂ (see FIG. 9) between the straight line in the gaze direction (direction D) and the omnidirectional sphere is calculated as the gaze point of the imaging apparatus 10.

［図１０のＳ２２（全天球画角２０ａ内の注視領域の演算）］
本処理ステップＳ２２では、処理対象フレームについて、処理ステップＳ２１（撮影装置１０の注視点の演算）にて演算された注視点、及び全天球パノラマ動画像ファイル内のレンズ１０２ａの画角の情報に基づき、全天球画角２０ａ内の注視領域Ｒ（図９参照）が演算される。 [S22 in FIG. 10 (calculation of gaze area in omnidirectional angle of view 20a)]
In this processing step S22, information on the gazing point calculated in the processing step S21 (calculation of the gazing point of the photographing apparatus 10) and the angle of view of the lens 102a in the omnidirectional panoramic moving image file for the processing target frame is included. Based on this, the gaze region R (see FIG. 9) within the omnidirectional field angle 20a is calculated.

［図１０のＳ２３（注視領域画像の切り出し）］
本処理ステップＳ２３では、処理対象フレームについて、処理ステップＳ２２（全天球画角２０ａ内の注視領域の演算）にて演算された注視領域Ｒの画像（注視領域画像）がメルカトル画像から切り出される。 [S23 in FIG. 10 (Cut out the gaze area image)]
In this process step S23, the image of the gaze area R (gaze area image) calculated in process step S22 (calculation of the gaze area within the omnidirectional field angle 20a) is cut out from the Mercator image for the processing target frame.

［図１０のＳ２４（注視領域画像の再生）］
処理ステップＳ２１〜Ｓ２３のループによって所定フレーム数の注視領域画像が得られると、再生装置３０は、以降のフレームについても処理ステップＳ２１〜Ｓ２３のループを実行しつつ、既に得られたフレームの注視領域画像を順次再生する。これにより、注視領域の動画像が再生される。 [S24 in FIG. 10 (Reproduction of gaze area image)]
When a predetermined number of frames of attention area images are obtained by the loop of the processing steps S21 to S23, the playback device 30 executes the loop of the processing steps S21 to S23 for the subsequent frames, and the gaze area of the already obtained frame. Play images sequentially. Thereby, the moving image of the gaze area is reproduced.

本実施形態によれば、ユーザは、撮影装置１０をパンやチルトしたりレンズ１０２ａのズーム倍率を変えたりすることで、全天球パノラマ動画像の中で注視領域や画角の変更がダイレクトに反映された動画像を逐次の指示操作を行うことなく再生装置３０で再生させることができる。また、撮影装置１０による通常画角動画像は、全天球画角内の一部を切り取った注視領域の動画像よりも高画素である。そのため、別の観点によれば、ユーザは、注視領域の動画像を得つつも、それと同じ内容の動画像であって、より高画質な通常画角動画像も同時に得ることができる。 According to the present embodiment, the user can directly change the gaze region and the angle of view in the panoramic moving image by panning or tilting the photographing apparatus 10 or changing the zoom magnification of the lens 102a. The reflected moving image can be reproduced by the reproducing apparatus 30 without performing a sequential instruction operation. Further, the normal angle of view moving image by the photographing apparatus 10 has higher pixels than the moving image of the gaze area obtained by cutting out a part of the omnidirectional angle of view. Therefore, according to another viewpoint, the user can obtain a moving image of the same content as the moving image in the gaze area and a normal-angle moving image with higher image quality at the same time.

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。 The above is the description of the exemplary embodiments of the present invention. Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, the embodiment of the present invention also includes contents appropriately combined with embodiments or the like clearly shown in the specification or obvious embodiments.

例えば、図１０の処理ステップＳ２１（撮影装置１０の注視点の演算）にて演算された注視点が撮影装置２０にて撮影された全天球パノラマ動画像では死角となっている場合が考えられる。全天球パノラマ動画像で死角となっているか否かは、例えば、撮影装置１０の注視点周辺の画像と、全天球画角２０ａ内の注視方向（方向Ｄ）に写る画像との差分に基づいて判定することができる。例示的には、双方の画像の差分が所定の閾値以上ある場合は、全天球パノラマ動画像で死角となっていると判定される。この場合、処理対象フレームについて、天球パノラマ動画像ファイル内の注視方向の情報が書き換えられることなくそのまま適用されてもよいが、天球パノラマ動画像ファイル内の注視方向の情報が全天球画角２０ａ内の規定の方向に再設定されても（書き換えられても）よい。 For example, there may be a case where the gazing point calculated in the processing step S21 of FIG. 10 (calculation of the gazing point of the imaging device 10) is a blind spot in the omnidirectional panoramic moving image captured by the imaging device 20. . Whether or not the omnidirectional panoramic moving image is a blind spot is determined by, for example, a difference between an image around the gazing point of the imaging device 10 and an image captured in the gazing direction (direction D) in the omnidirectional field angle 20a. It can be determined based on. Illustratively, when the difference between the two images is greater than or equal to a predetermined threshold, it is determined that the omnidirectional panoramic video is a blind spot. In this case, the gaze direction information in the celestial panorama moving image file may be applied as it is to the processing target frame without being rewritten, but the gaze direction information in the celestial panorama moving image file is used as the omnidirectional field angle 20a. It may be reset (rewritten) in the prescribed direction.

１撮影システム
１０撮影装置
２０撮影装置
３０再生装置
１０２撮像ユニット
１０２ａレンズ
１０２ｂ撮像素子
１０４画像処理ユニット
１０６撮像制御ユニット
１０８ＣＰＵ
１１０ＲＯＭ
１１２ＳＲＡＭ
１１４ＤＲＡＭ
１１６操作部
１１８ネットワークＩ／Ｆ
１２０通信部
１２２センサユニット
１２４バス
２０２撮像ユニット
２０２Ａａ、２０２Ｂａレンズ
２０２Ａｂ、２０２Ｂｂ撮像素子
２０４画像処理ユニット
２０６撮像制御ユニット
２０８ＣＰＵ
２１０ＲＯＭ
２１２ＳＲＡＭ
２１４ＤＲＡＭ
２１６操作部
２１６ａ録画ボタン
２１８ネットワークＩ／Ｆ
２２０通信部
２２２センサユニット
２２４バス DESCRIPTION OF SYMBOLS 1 Shooting system 10 Shooting apparatus 20 Shooting apparatus 30 Playback apparatus 102 Imaging unit 102a Lens 102b Imaging element 104 Image processing unit 106 Imaging control unit 108 CPU
110 ROM
112 SRAM
114 DRAM
116 Operation unit 118 Network I / F
DESCRIPTION OF SYMBOLS 120 Communication part 122 Sensor unit 124 Bus | bath 202 Imaging unit 202Aa, 202Ba Lens 202Ab, 202Bb Imaging element 204 Image processing unit 206 Imaging control unit 208 CPU
210 ROM
212 SRAM
214 DRAM
216 Operation unit 216a Record button 218 Network I / F
220 Communication unit 222 Sensor unit 224 Bus

Claims

第一の画角で動画像を撮影する第一の撮影装置と、
前記第一の画角よりも広い第二の画角で動画像を撮影する第二の撮影装置と、
前記第一の撮影装置と前記第二の撮影装置との姿勢差を検出する姿勢差検出手段と、
検出された姿勢差に基づいて前記第二の画角内における前記第一の撮影装置の注視方向を演算する注視方向演算手段と、
演算された注視方向を前記第二の画角の動画像と関連付けて記録する記録手段と、
を備える、
撮影システム。 A first photographing device for photographing a moving image at a first angle of view;
A second photographing device for photographing a moving image at a second angle of view wider than the first angle of view;
Attitude difference detection means for detecting an attitude difference between the first imaging apparatus and the second imaging apparatus;
Gaze direction calculating means for calculating a gaze direction of the first imaging device within the second angle of view based on the detected attitude difference;
Recording means for recording the calculated gaze direction in association with the moving image of the second angle of view;
Comprising
Shooting system.

前記第一の撮影装置は、
前記第一の撮影装置の姿勢を検出する第一の姿勢検出手段と、
動画撮影の操作を受け付けると、動画撮影の開始を前記第二の撮影装置に通知すると共に前記第一の姿勢検出手段により検出された姿勢の情報を該第二の撮影装置に送信する第一の制御手段と、
を備え、
前記第二の撮影装置は、
前記第二の撮影装置の姿勢を検出する第二の姿勢検出手段と、
前記姿勢差検出手段と、
前記第一の撮影装置より動画撮影開始の通知を受け取ると、前記第二の画角の動画撮影を開始する第二の制御手段と、
を備え、
前記姿勢差検出手段は、
前記第二の姿勢検出手段により検出された姿勢の情報及び前記第一の撮影装置より受信した姿勢の情報に基づいて前記姿勢差を検出する、
請求項１に記載の撮影システム。 The first photographing device includes:
First posture detecting means for detecting the posture of the first photographing device;
When receiving a video shooting operation, the first shooting device notifies the second shooting device of the start of moving image shooting and transmits the posture information detected by the first posture detection means to the second shooting device. Control means;
With
The second imaging device is
Second attitude detection means for detecting the attitude of the second imaging device;
The posture difference detecting means;
When receiving notification of the start of moving image shooting from the first shooting device, second control means for starting moving image shooting of the second angle of view;
With
The posture difference detecting means includes
Detecting the posture difference based on the posture information detected by the second posture detection means and the posture information received from the first imaging device;
The imaging system according to claim 1.

前記第一の制御手段は、
動画撮影の操作を受け付けると、前記第二の撮影装置で動画撮影が開始されるタイミングに合わせて前記第一の画角の動画撮影を開始する、
請求項２に記載の撮影システム。 The first control means includes
When accepting a video shooting operation, the video shooting of the first angle of view is started in accordance with the timing at which video shooting is started in the second shooting device.
The imaging system according to claim 2.

前記記録手段により記録された注視方向に基づいて前記第二の画角内における前記第一の撮影装置の注視点を演算する注視点演算手段と、
演算された注視点及び前記第一の画角に基づいて前記第二の画角内の注視領域を演算する注視領域演算手段と、
を備える、
請求項１から請求項３の何れか一項に記載の撮影システム。 Gazing point calculation means for calculating the gazing point of the first imaging device within the second angle of view based on the gazing direction recorded by the recording means;
Gaze area calculation means for calculating a gaze area within the second angle of view based on the calculated gaze point and the first angle of view;
Comprising
The imaging system according to any one of claims 1 to 3.

前記注視領域演算手段により演算された注視領域を前記第二の画角の動画像から切り出し、切り出された動画像を再生する再生手段
を備える、
請求項４に記載の撮影システム。 A reproduction unit that cuts out the gaze area calculated by the gaze area calculation unit from the moving image of the second angle of view and reproduces the cut out moving image;
The imaging system according to claim 4.

前記第一の撮影装置の注視点が前記第二の画角の動画像の死角に入るか否かを判定する死角判定手段
を備え、
前記死角判定手段により前記死角に入ると判定される場合、前記注視点演算手段により演算された注視点に対応する注視方向がそのまま適用され、又はこれに代えて、前記第二の画角内の規定の方向が該注視方向として再設定される、
請求項４又は請求項５に記載の撮影システム。 A blind spot judging means for judging whether or not the gazing point of the first imaging device falls within the blind spot of the moving image of the second angle of view;
When it is determined by the blind spot determining means that the blind spot is entered, the gaze direction corresponding to the gaze point calculated by the gaze point calculating means is applied as it is, or alternatively, within the second angle of view. The specified direction is reset as the gaze direction.
The imaging system according to claim 4 or 5.

前記第一の撮影装置により撮影される第一の画角の画像は、
前記第二の画角内の前記注視領域の画像よりも高画素である、
請求項４から請求項６の何れか一項に記載の撮影システム。 The first angle of view image captured by the first imaging device is:
The pixel is higher than the image of the gaze area in the second angle of view.
The imaging system according to any one of claims 4 to 6.

前記第二の画角の動画像は、
全天球パノラマ動画像である、
請求項１から請求項７の何れか一項に記載の撮影システム。 The moving image of the second angle of view is
It ’s a panoramic video,
The imaging system according to any one of claims 1 to 7.