JP2021185681A - File - Google Patents
File Download PDFInfo
- Publication number
- JP2021185681A JP2021185681A JP2021127892A JP2021127892A JP2021185681A JP 2021185681 A JP2021185681 A JP 2021185681A JP 2021127892 A JP2021127892 A JP 2021127892A JP 2021127892 A JP2021127892 A JP 2021127892A JP 2021185681 A JP2021185681 A JP 2021185681A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- spherical
- moving image
- tilt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Camera Data Copying Or Recording (AREA)
- Image Processing (AREA)
- Cameras In General (AREA)
Abstract
Description
本発明は、ファイルに関し、より詳細には、画像を生成するための撮像システム、撮像装置、プログラムおよびシステムで使用されるファイルに関する。 The present invention relates to files, and more particularly to files used in imaging systems, imaging devices, programs and systems for producing images.
近年、１回の撮影により、半球ないし全天球の視野で静止画を撮像できるカメラが実用化されている。また、手持ちで全天球の静止画の撮影が可能なサイズのものも提供されている。このような手持ちサイズのカメラでは、カメラ本体が傾き易いため、本体カメラが傾いた状態の撮影に対応して、撮像された静止画像を傾き補正して表示する機能を備えたものも知られている。 In recent years, a camera capable of capturing a still image in a hemispherical or spherical field of view by one shooting has been put into practical use. In addition, a size that allows you to take still images of the whole celestial sphere is also provided. With such a handheld size camera, the camera body tends to tilt, so it is also known that the camera has a function to correct and display the captured still image in response to shooting with the camera body tilted. There is.
静止画の傾きを補正する技術としては、特開２０１３‐２１４９４７号公報（特許文献１）が知られている。特許文献１は、鉛直方向が正しい静止画を得る目的で、２つの魚眼レンズを有する静止画撮影装置において、内部に備えた鉛直方向からの傾きを得るための加速度センサが検出した傾き角に応じて、魚眼画像の正則画像への変換パラメータを算出する構成を開示する。
As a technique for correcting the inclination of a still image, Japanese Patent Application Laid-Open No. 2013-214947 (Patent Document 1) is known.
また、静止画像のみならず、超広角のレンズにより広範囲を動画像として保存可能なカメラも開発されている。 In addition to still images, cameras that can store a wide range as moving images with an ultra-wide-angle lens have also been developed.
しかしながら、従来技術の動画像を撮像するカメラでは、手ぶれ補正機能を搭載したものは知られているものの、カメラ本体が傾いた状態で撮像された場合に、鉛直方向と動画像撮像装置の天頂方向とが異なることに起因して不具合があった。すなわち、カメラ本体が傾いた状態で撮像した動画像を視聴する際に、鉛直方向を合わせたまま視野の変更が行われた場合に、複雑な回転が発生してしまい、視聴者に対して３次元酔いなどの不快感を与えてしまう可能性があった。特許文献１の従来技術は、静止画に対応するものであり、鉛直方向が正しい動画像を作成できる技術ではなかった。そのため、カメラの傾き状態にかかわらず、鉛直方向が正しい全天球動画を生成する技術の開発が望まれていた。
However, although some cameras that capture moving images in the prior art are known to have an image stabilization function, when the camera body is tilted and captured, the vertical direction and the zenith direction of the moving image image pickup device are used. There was a problem due to the difference between. That is, when viewing a moving image captured with the camera body tilted, if the field of view is changed while aligning the vertical direction, complicated rotation occurs, which is 3 for the viewer. There was a possibility of giving discomfort such as dimensional sickness. The conventional technique of
本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、検出された基準方向に対する撮影手段の傾きに応じて傾き補正された動画データを生成するためのデータを格納するファイルを提供することを目的とする。 The present invention has been made in view of the deficiencies in the above-mentioned prior art, and the present invention is data for generating moving image data whose inclination is corrected according to the inclination of the photographing means with respect to the detected reference direction. The purpose is to provide a file to store.
本発明では、上記課題を解決するために、下記特徴を有するファイルを提供する。本ファイルは、コンピュータにより座標系が変換される動画データを生成するためのデータを格納するファイルである。ファイルは、動画形式の画像のデータである画像データと、撮像手段により前記画像を撮像しているときの基準方向に対する傾きのデータである傾き角データと、前記撮像手段固有の付加情報と、を有する。 In the present invention, in order to solve the above problems, a file having the following features is provided. This file is a file that stores data for generating moving image data whose coordinate system is converted by a computer. The file contains image data which is image data in a moving image format, tilt angle data which is tilt data with respect to a reference direction when the image is captured by the imaging means, and additional information peculiar to the imaging means. Have.
上記構成により、検出された基準方向に対する撮影手段の傾きに応じて傾き補正された動画データを生成することができる。 With the above configuration, it is possible to generate moving image data whose inclination is corrected according to the inclination of the photographing means with respect to the detected reference direction.
以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置および撮像システムの一例として、２つの魚眼レンズを光学系に含む撮像体を備える全天球カメラ、および、全天球カメラと、該全天球カメラから分離された画像処理装置とを備える全天球動画撮像システムを用いて説明する。 Hereinafter, the present embodiment will be described, but the present embodiment is not limited to the embodiments described below. In the following embodiment, as an example of the image pickup device and the image pickup system, a spherical camera having an image pickup body including two fisheye lenses in an optical system, a spherical camera, and the spherical camera are separated from each other. This will be described using an omnidirectional moving image imaging system equipped with an image processing device.
［全体構成］
以下、図１および図２を参照しながら、本実施形態による全天球動画撮像システムの全体構成について説明する。図１は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０の断面図である。図１に示す全天球カメラ１１０は、撮像体１２と、上記撮像体１２およびコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッター・ボタン１８とを備える。
[overall structure]
Hereinafter, the overall configuration of the spherical moving image imaging system according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a cross-sectional view of the
図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子２２Ａ，２２Ｂとを含み構成される。結像光学系２０各々は、例えば６群７枚の魚眼レンズとして構成されている。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系数ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。
The
２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。より具体的には、結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
The optical elements (lens, prism, filter and aperture stop) of the two image pickup
図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、画像処理装置１５０へ転送されて、合成処理されて、これにより、立体角４πステラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の連続するフレームにより、全天球動画が構成される。ここで、説明する実施形態では、全天球画像および全天球動画を生成するものとして説明するが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像およびパノラマ動画であってもよい。
In the embodiment shown in FIG. 1, the imaging
図２（Ａ）は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０のハードウェア構成を示す。全天球カメラ１１０は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される加速度センサ１３６とを含み構成される。
FIG. 2A shows the hardware configuration of the
ＣＰＵ１１２は、全天球カメラ１１０の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
The
動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ１３６は、３軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。
The
全天球カメラ１１０は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８とを含み構成される。外部ストレージインタフェース１２２には、外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４に対する読み書きを制御する。ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。
The
電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１１０の後述する各機能部および処理が実現される。
When the power is turned on by operating the power switch, the above control program is loaded into the main memory. The
図２（Ｂ）は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０のハードウェア構成を示す。図２（Ｂ）に示す画像処理装置１５０は、ＣＰＵ１５２と、ＲＡＭ１５４と、ＨＤＤ（Hard Disk Drive）１５６と、マウスやキーボードなどの入力装置１５８と、外部ストレージ１６０と、ディスプレイ１６２と、無線ＮＩＣ１６４と、ＵＳＢコネクタ１６６とを含み構成される。
FIG. 2B shows the hardware configuration of the
ＣＰＵ１５２は、画像処理装置１５０の各部の動作および全体動作を制御する。ＲＡＭ１５４は、ＣＰＵ１５２の作業領域を提供する。ＨＤＤ１５６は、ＣＰＵ１５２が解読可能なコードで記述された、オペレーティング・システム、本実施形態による画像処理装置１５０側の処理を担うアプリケーションなどの制御プログラムを格納する。
The
入力装置１５８は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ１６０は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ１６２は、ユーザ操作に応答して再生された全天球動画を画面表示する。無線ＮＩＣ１６４は、全天球カメラ１１０などの外部機器との無線通信の接続を確立する。ＵＳＢコネクタ１６６は、全天球カメラ１１０などの外部機器とのＵＳＢ接続をする。
The
画像処理装置１５０に電源が投入され電源がオン状態になると、ＲＯＭやＨＤＤ１５６から制御プログラムが読み出され、ＲＡＭ１５４にロードされる。ＣＰＵ１５２は、ＲＡＭ１５４に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像処理装置１５０の後述する各機能部および処理が実現される。
When the power is turned on to the
［全天球動画撮像記録機能］
以下、図３〜図１６を参照しながら、本実施形態による全天球動画撮像システム１００が備える全天球動画撮像記録機能について説明する。図３は、本実施形態による全天球動画撮像システム１００上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック２００を示す。
[Spherical video imaging / recording function]
Hereinafter, the spherical moving image imaging / recording function included in the spherical moving image imaging system 100 according to the present embodiment will be described with reference to FIGS. 3 to 16. FIG. 3 shows a main
全天球カメラ１１０の機能ブロック２１０は、図３に示すように、撮像部２１２と、動画圧縮部２１４と、傾き検出部２１６と、傾き記録部２１８と、出力部２２０とを含み構成される。これに対して、画像処理装置１５０の機能ブロック２５０は、読出部２５２と、画像復元部２５４と、傾き取得部２５６と、傾き補正部２５８と、動画生成部２６４とを含み構成される。
As shown in FIG. 3, the
まず、全天球カメラ１１０側から説明する。撮像部２１２は、上述した２つの広角撮像光学系を含み構成され、２つの撮像素子１３０Ａ，１３０Ｂを制御して、連続したフレームを順次撮像する。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。
First, the
動画圧縮部２１４は、動画圧縮ブロック１１８を含み構成され、撮像部２１２が撮像した連続するフレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ（Joint Photographic Experts Group）、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。
The moving
Ｍｏｔｉｏｎ ＪＰＥＧ系は、連続した静止画として動画を表現する形式であり、この方式を採用することにより、高品質な動画を得ることができる。これに対して、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣやＨ．２６５／ＨＥＶＣは、時間軸方向の圧縮を行うことができるため、処理効率が高く、外部ストレージへの書き込み遅延の要件を緩和することができる。手持ちされる全天球カメラ１１０側では、小型化および低コスト化の要請から、高性能なハードウェアを搭載することが難しいため、好ましい実施形態では、時間軸方向の圧縮を行うことができ、ビットレートを抑制することができるＨ．２６４／ＭＰＥＧ−４ ＡＶＣやＨ．２６５／ＨＥＶＣを好適に採用することができる。
The Motion JPEG system is a format for expressing a moving image as a continuous still image, and by adopting this method, a high-quality moving image can be obtained. On the other hand, H. 264 / MPEG-4 AVC and H. Since 265 / HEVC can perform compression in the time axis direction, processing efficiency is high and the requirement of write delay to the external storage can be relaxed. Since it is difficult to mount high-performance hardware on the handheld
なお、説明する実施形態では、撮像部２１２が、２つの撮像素子１３０Ａ，１３０Ｂで同一のタイミングで撮像された２つの魚眼画像をそれぞれ独立に出力し、動画圧縮部２１４が、独立した２つの魚眼画像のフレームから２つの動画形式の画像データをそれぞれ独立して生成する。しかしながら、画像データの表現形式は、特に限定されるものではない。他の実施形態では、撮像部２１２が、２つの撮像素子１３０Ａ，１３０Ｂで撮像された２つの魚眼画像を接合して構成された単一の画像を出力し、動画圧縮部２１４は、この２つの魚眼画像を含む画像をフレームとした動画形式の画像データに圧縮することができる。
In the embodiment to be described, the
傾き検出部２１６は、加速度センサ１３６を含み構成され、所定の基準方向に対する全天球カメラ１１０の傾きを検出する。ここで、所定の基準方向は、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出部２１６は、３軸加速度センサ１３６の各加速度成分の信号を傾き記録部２１８に出力する。傾き記録部２１８は、傾き検出部２１６から入力される加速度成分の信号を、動画形式の画像データのフレームに同期してサンプリングし、所定の基準方向に対する傾き角を求める。そして、動画形式の画像データのフレーム・レートと同等のレートの時系列データとして記録する。
The
なお、説明する実施形態では、動画形式の画像データ中のフレームに対し、傾き角が一対一で対応し、フレームと傾き角とは同期されて保存されているものとして説明する。しかしながら、保存する傾き角のレートは、必ずしもフレーム・レートと同一としなくともよく、一致しない場合は、フレーム・レートでリサンプリングすることにより、フレームに一対一で対応した傾き角を得ればよい。 In the embodiment to be described, it is assumed that the tilt angle corresponds to the frame in the image data in the moving image format on a one-to-one basis, and the frame and the tilt angle are stored in synchronization with each other. However, the tilt angle rate to be stored does not necessarily have to be the same as the frame rate, and if they do not match, the tilt angle corresponding to the frame may be obtained by resampling at the frame rate. ..
上述した動画圧縮部２１４が生成した動画形式の画像データ各々および傾き記録部２１８が記録した傾き角データは、ＤＲＡＭ１３２上に一旦保持される。出力部２２０は、ＤＲＡＭ１３２上に保持されている動画形式の画像データ各々および傾き角データを、適切な書き込みサイズとなったタイミングで、２つの動画ファイル２３０および傾き角ファイル２４０として外部ストレージ１３４に書き出す。撮影が終了すると、２つの動画ファイル２３０および傾き角ファイル２４０が閉じられ、これにより、全天球カメラ１１０側の処理が終了する。
Each of the moving image format image data generated by the moving
外部ストレージ１３４は、全天球カメラ１１０から取り出され、画像処理装置１５０に装着される。続いて、画像処理装置１５０側について説明を移す。読出部２５２は、画像処理装置１５０に装着された外部ストレージ１６０から、全天球カメラ１１０側で書き出した２つの動画ファイル２３０および傾き角ファイル２４０を読み出す。読み出された２つの動画ファイル２３０は、それぞれ、画像復元部２５４に渡される。また、読み出された傾き角ファイル２４０は、傾き取得部２５６に渡される。なお、外部ストレージ１３４を着脱させるほか、全天球カメラ１１０に備えられたＵＳＢインタフェースを通じて、画像処理装置１５０は、全天球カメラ１１０に備えられた外部ストレージ１３４から、全天球カメラ１１０側で書き出した２つの動画ファイル２３０および傾き角ファイル２４０を読み出しても良い。
The
画像復元部２５４は、読み出された動画ファイル２３０各々に対応する所定のコーデックを用いて、読み出された動画ファイル２３０各々をデコードし、動画を構成する静止画のフレームを復元して、傾き補正部２５８に入力する。傾き取得部２５６は、読み出された傾き角ファイル２４０から、画像復元部２５４で復元される各フレームに対応する傾き角を取得し、傾き補正部２５８に入力する。
The
傾き補正部２５８は、傾き取得部２５６から入力された、フレーム各々に対応する傾き角に基づき、画像復元部２５４で復元された静止画のフレーム各々に対し傾き補正を施すとともに、魚眼画像から全天球画像への変換を行う。傾き補正部２５８は、より詳細には、変換テーブル修正部２６０と、全天球画像生成部２６２とを含み構成される。
The
画像処理装置１５０側では、２つの撮像素子１３０Ａ，１３０Ｂで撮像された２つの魚眼画像（これは、それぞれ、動画ファイルのフレームとして画像処理装置へ渡される。）それぞれを球面座標系へ変換し、全天球画像を生成するための変換テーブルを事前に準備している。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、全天球カメラ１１０の真上方向が鉛直線に一致するものとして、魚眼画像を全天球画像へ変換するデータである。説明する実施形態において、全天球カメラ１１０が傾いた状態にあり、真上方向と鉛直線とが一致しない場合は、傾きに応じてこの変換データを修正することで天頂補正を反映させる。
On the
動画形式の画像データ各々に含まれる部分画像は、受光領域が面積エリアを成す２次元の撮像素子で撮像されたものであり、平面座標系（ｘ，ｙ）で表現された画像データとなっている（図５（Ｂ）、並びに図１１に示す第１部分画像および第２部分画像）。これに対し、変換テーブルを用いて天頂補正がかけられた補正後の画像は、球面座標系（動径を１とし、２つの偏角θ，φを有する極座標系である。）で表現された全天球画像フォーマットの画像データとなる（図１０、および図１１に示す全天球画像）。 The partial image included in each of the image data in the moving image format is captured by a two-dimensional image sensor whose light receiving area forms an area area, and is image data expressed in the plane coordinate system (x, y). (1st partial image and 2nd partial image shown in FIG. 5B and FIG. 11). On the other hand, the corrected image to which the zenith correction is applied using the conversion table is represented by a spherical coordinate system (a polar coordinate system having a radius of 1 and two declinations θ and φ). The image data is in the all-celestial image format (the all-celestial image shown in FIGS. 10 and 11).
変換テーブルは、動画ファイル内に保存され、動画ファイルの読出しとともに取得してもよいし、全天球カメラ１１０から画像処理装置１５０へ予めダウンロードしておいてもよい。あるいは、全個体共通の基本となる変換テーブルを画像処理装置側に事前に準備しておき、動画ファイル内に全天球カメラ１１０の個体特有の変換テーブルを得るための差分データを書き込み、動画ファイルの読出しとともに、固有の変換テーブルを復元してもよい。
The conversion table may be stored in the moving image file and acquired at the same time as reading the moving image file, or may be downloaded in advance from the
変換テーブル修正部２６０は、取得された傾き角に応じて、画像の天頂方向（観測者の真上の点を指す方向）が、検出された鉛直線（重力が作用する鉛直方向がなす直線）に一致するものとなるように、上述した変換テーブルに対し修正を施す。したがって、修正された変換テーブルを用いて魚眼画像を全天球画像に変換すれば、傾きに応じて天頂方向が鉛直線に一致するような補正が反映された形で、全天球画像が生成される。全天球画像生成部２６２は、変換テーブル修正部２６０により修正された変換テーブルを用いて、復元されたフレーム各々に対応する２つの部分画像を、天頂補正が反映された全天球画像へと変換し、全天球画像のフレーム各々を動画生成部２６４に出力する。変換テーブル修正部２６０および全天球画像生成部２６２により、補正後の複数のフレーム各々の画像の天頂方向が鉛直線に一致するように補正される。
In the conversion
動画生成部２６４は、傾き補正部２５８により補正された複数のフレーム各々の全天球画像に基づき、所定の動画圧縮形式でエンコードし、最終的な動画データを生成し、動画ファイル２７０として書き出す。この動画ファイル２７０は、全天球画像の動画データである。動画圧縮形式は、上述した形式を含む如何なる形式であってもよい。
The moving
視聴の際には、この生成された動画データに基づき、表示アプリケーション上で、全天球において指定された特定の視野の画像が再生されて表示されることになる。この生成された動画データにおいては、画像の天頂方向が鉛直線に対し固定されているため、その動画データを視聴中に、表示視野を変更したとしても、視野を変更した通りの回転が生じるのみである。ひいては、視野変更と傾きの変化を伴う複雑な回転の発生が抑制され、三次元酔いなどの不快感を与える可能性を軽減することができる。 At the time of viewing, based on the generated moving image data, an image of a specific field of view specified in the whole celestial sphere is reproduced and displayed on the display application. In this generated video data, the zenith direction of the image is fixed with respect to the vertical line, so even if the display field of view is changed while viewing the video data, only the rotation as the field of view is changed occurs. Is. As a result, the occurrence of complicated rotation accompanied by the change of the visual field and the change of the inclination is suppressed, and the possibility of causing discomfort such as three-dimensional sickness can be reduced.
以下、図４および図７を参照しながら、本実施形態による全天球カメラ１１０側での処理および画像処理装置１５０側での処理の詳細について、分けて説明する。図４は、本実施形態による全天球動画撮像システム１００を構成する全天球カメラ１１０側で行われる撮像処理を示すフローチャートである。図４に示す処理は、全天球カメラ１１０の動画撮影ボタンが押下されるなど、撮像の開始が指示されたことに応答して、ステップＳ１００から開始される。ステップＳ１０１では、全天球カメラ１１０は、撮像部２１２により、撮像素子１３０から１フレーム分の画像データを読み込む。
Hereinafter, the details of the processing on the
図５は、魚眼レンズを用いた全天球カメラ１１０における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図５（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、ｆを焦点距離として、下記式（１）で表現される。
FIG. 5 is a diagram illustrating a projection relationship in the
上記投影モデルとしては、その他、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図５（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。 Other projection models include a central projection method (h = f · tanφ), a stereographic projection method (h = 2f · tan (φ / 2)), and an equal-angle projection method (h = 2f · sin (φ / 2). )) And the orthographic projection method (h = f · sinφ). In either method, the image height h of the image formation is determined corresponding to the incident angle φ from the optical axis and the focal length f. Further, in the present embodiment, a configuration of a so-called circumferential fisheye lens having a smaller image circle diameter than the diagonal of the image is adopted, and the obtained partial image is a substantially hemisphere of the photographing range as shown in FIG. 5 (B). It becomes a plane image including the entire image circle on which the minutes are projected.
説明する実施形態において、１フレーム分の画像データは、２つの撮像素子１３０Ａ，１３０Ｂにより撮像された、それぞれ撮影範囲の概ね半球分が投影されたイメージサークル全体を含む２つの平面画像（図１１の第１部分画像および第２部分画像）となる。
In the embodiment to be described, the image data for one frame is two plane images (FIG. 11) including the entire image circle on which approximately the hemisphere of the shooting range is projected, which are captured by the two
再び図４を参照すると、ステップＳ１０２では、全天球カメラ１１０は、撮像部２１２により、撮像した１フレーム分の画像データに対し、画像処理を施して、ＤＲＡＭ１３２上に保存させる。まず、撮像素子１３０から取り込まれたベイヤーＲＡＷの画像に対し、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理などが行われる。そして、ホワイト・バランス処理、ガンマ補正処理、ベイヤー補間処理、ＹＵＶ変換処理、エッジ強調処理および色補正処理が行われる。
Referring to FIG. 4 again, in step S102, the
ステップＳ１０３では、全天球カメラ１１０は、傾き記録部２１８により、撮像したフレームに同期して傾き角を検出し、メモリ上に保存させる。
In step S103, the
図６は、本実施形態における全天球カメラ１１０の傾きについて説明する概略図である。図６において、鉛直方向は、グローバル座標系のｘｙｚ３次元方向の直交座標におけるｚ軸に一致する。この方向と、図６に示した全天球カメラ１１０の真上の方向とが一致するときが、カメラが傾いてない状態である。これが一致していないときは、全天球カメラ１１０は、傾いた状態となる。
FIG. 6 is a schematic view illustrating the inclination of the
つまり、重力ベクトルからの傾き角度（以下、傾き角α）と、ｘｙ平面での傾斜角度β（以下、傾き角β）とは、加速度センサの出力を用いて、下記式（２）で求められる。ここで、Ａｘは、加速度センサ１３６のカメラ座標系のｘ０軸方向成分の値、Ａｙは、加速度センサ１３６のカメラ座標系のｙ０軸方向成分の値、Ａｚは、加速度センサ１３６のカメラ座標系のｚ０軸方向成分の値である。ステップＳ１０３では、加速度センサ１３６の各軸方向成分の値から傾き角α，βが求められて、保存される。
That is, the tilt angle from the gravity vector (hereinafter, tilt angle α) and the tilt angle β in the xy plane (hereinafter, tilt angle β) can be obtained by the following equation (2) using the output of the acceleration sensor. .. Here, Ax is the value of the x0-axis direction component of the camera coordinate system of the
再び図４を参照すると、ステップＳ１０４では、全天球カメラ１１０は、取り込んだ１フレーム分の２つの画像データをそれぞれ動画圧縮部２１４へ入力し、動画形式の２つの画像データをメモリに書き込む。ステップＳ１０５では、全天球カメラ１１０は、動画を書き込む必要があるか否かを判定する。ステップＳ１０５で、所定の書き込みサイズに達し、動画を書き込む必要があると判定された場合（ＹＥＳ）は、ステップＳ１０６へ処理を分岐させる。ステップＳ１０６では、全天球カメラ１１０は、出力部２２０により、ＤＲＡＭ１３２上の動画形式の２つの画像データを外部ストレージ１３４にそれぞれ動画ファイルとして記録する。一方、ステップＳ１０５で、まだ所定の書き込みサイズに達しておらず、動画を書き込む必要がないと判定された場合（ＮＯ）は、ステップＳ１０７へ直接処理を進める。
Referring to FIG. 4 again, in step S104, the
ステップＳ１０７では、全天球カメラ１１０は、傾き角データを書き込む必要があるか否かを判定する。ステップＳ１０７で、所定の書き込みサイズに達し、傾き角データを書き込む必要があると判定された場合（ＹＥＳ）は、ステップＳ１０８へ処理を分岐させる。ステップＳ１０８では、全天球カメラ１１０は、出力部２２０により、ＤＲＡＭ１３２上の傾き角データを外部ストレージ１３４に傾き角ファイルとして記録する。一方、ステップＳ１０７で、まだ所定の書き込みサイズに達しておらず、傾き角データを書き込む必要がないと判定された場合（ＮＯ）は、ステップＳ１０９へ直接処理を進める。
In step S107, the
ステップＳ１０９では、全天球カメラ１１０は、撮影が終了されているか否かを判定する。ステップＳ１０９で、まだ、ユーザによる撮影終了の指示が行われておらず、撮影が終了ではないと判定された場合（ＮＯ）は、ステップＳ１０１へ処理をループさせて、次のフレームに対する処理を続ける。一方、ステップＳ１０９で、ユーザから撮影終了の指示を受領済みであり、撮影が終了されたと判定された場合（ＹＥＳ）は、ステップＳ１１０へ処理を進める。
In step S109, the
ステップＳ１１０では、全天球カメラ１１０は、画像処理装置１５０側で画像を変換するために必要となる付加情報を動画ファイル内に書き込み、ステップＳ１１１で全天球カメラ１１０側での撮像処理を終了する。ここで、画像を変換するために必要となる付加情報は、出力先の画像処理装置１５０側で、動画を撮像した特定の全天球カメラ１１０に適合した変換テーブルを復元するためのデータである。付加情報は、変換テーブルそのままであってもよいし、基準の変換テーブルに対応する各個体の変換テーブルの差分データであってもよいし、事前定義された複数の変換テーブルのうちから該当する変換テーブルを特定する識別情報であってもよい。
In step S110, the
図７は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０側で行われる記録処理を示すフローチャートである。図７に示す記録処理は、画像処理装置１５０上で全天球動画生成用のアプリケーションにおいて、動画ファイルおよび傾き角ファイルが指定されてエンコード記録開始の指示が行われたことに応答して、ステップＳ２００から開始される。
FIG. 7 is a flowchart showing a recording process performed on the
ステップＳ２０１では、画像処理装置１５０は、読出部２５２により、外部ストレージ１６０から２つの動画ファイルを読み込み、画像復元部２５４により、所定フレーム数の２つの画像データを復元する。ステップＳ２０２では、画像処理装置１５０は、読出部２５２により、外部ストレージ１６０から傾き角ファイルを読み込み、傾き取得部２５６により、上記復元した所定フレーム数のフレーム各々に対応する傾き角を取得する。
In step S201, the
動画ファイル２３０を構成するすべてのフレームがＲＡＭ１５４上に展開されると、メモリを過大に消費することになる。そこで、好ましい実施形態では、補正に際して、動画ファイル全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像データおよび傾き角データのみをＲＡＭ１５４上に展開するよう構成することができる。この展開する単位は、ＭＰＥＧ−４／ＡＶＣなどの時間軸での圧縮を行う形式を採用する場合は、図８に示すような、ＧＯＰ（Group of Picture）あるいはそれと同等の概念で参照される単位でメモリ上に展開することが効率的である。
If all the frames constituting the moving
ＧＯＰは、Ｉピクチャ、ＰピクチャおよびＢピクチャを含み構成される。Ｉピクチャは、再生の起点となるピクチャであり、フレーム内予測符号化にて符号化されるピクチャである。Ｐピクチャは、前のＩピクチャまたはＰピクチャからフレーム間予測により符号化されるピクチャである。Ｂピクチャは、前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用してフレーム間予測により符号化されるピクチャである。ＧＯＰは、少なくとも１つのＩピクチャを含むため、ＧＯＰの単位でフレームを展開することにより、最小限のフレームを展開することで、所定フレーム数の静止画を復元することができる。 The GOP includes an I picture, a P picture, and a B picture. The I picture is a picture that is a starting point of reproduction, and is a picture encoded by in-frame predictive coding. The P picture is a picture encoded by interframe prediction from the previous I picture or P picture. The B picture is a picture encoded by inter-frame prediction using a front (forward), rear (reverse), or front-back (bidirectional) picture. Since the GOP includes at least one I picture, it is possible to restore a predetermined number of still images by expanding the minimum number of frames by expanding the frames in units of GOP.
再び図７を参照すると、ステップＳ２０３では、画像処理装置１５０は、動画ファイル内から付加情報を読み込み、当該動画ファイルを撮像した特定の全天球カメラ１１０固有の変換テーブルを準備する。ステップＳ２０４では、画像処理装置１５０は、取得された傾き角および読み出された付加情報に基づき、動画ファイル各々から復元された所定フレーム数の画像データ各々に変換処理を施す。
Referring to FIG. 7 again, in step S203, the
図９は、本実施形態による全天球動画撮像システム１００を構成する画像処理装置１５０側で行われる変換処理を示すフローチャートである。図９に示す変換処理は、図７に示したステップＳ２０４で呼び出されて、ステップＳ３００から開始される。ステップＳ３０１〜ステップＳ３０７のループでは、フレーム毎に、ステップＳ３０２〜ステップＳ３０６の処理が実行される。
FIG. 9 is a flowchart showing a conversion process performed on the
ステップＳ３０２では、画像処理装置１５０は、当該フレームに対応する傾き角α，βを設定する。ステップＳ３０３では、画像処理装置１５０は、変換テーブル修正部２６０により、取得された傾き角α，βに応じて変換テーブルを修正する。変換テーブルの修正処理については、詳細を後述する。
In step S302, the
ステップＳ３０４では、画像処理装置１５０は、復元した当該フレームの２つの画像データを入力する。ステップＳ３０５では、画像処理装置１５０は、全天球画像生成部２６２により、修正された変換テーブルを用いて、復元された当該フレームの２つの画像データ（それぞれ魚眼画像を含む。）を変換し、補正された２つの画像データ（魚眼画像各々に対応する各半球を担当する２つの全天球画像）を生成する。ステップＳ３０６では、画像処理装置１５０は、当該フレームの補正された２つの画像データ（各半球を担当する全天球画像）を組み合わせることで、最終的な画像データ（全天球画像）を生成する。
In step S304, the
図１０は、本実施形態における全天球画像フォーマットについて、（Ａ）平面で表した場合および（Ｂ）球面で表した場合についてそれぞれ説明する図である。図１０において、全天球画像のフォーマットは、図１０（Ａ）に示すように、平面に展開した場合、水平角度が０から３６０度、垂直角度が０から１８０度の角度座標に対応する画素値を有する画像である。角度座標は、図１０（Ｂ）に示す球面上の座標点の各点と対応付けられており、地球儀上における緯度経度座標のようなものとなっている。 FIG. 10 is a diagram illustrating a case where the spherical image format in the present embodiment is represented by (A) a plane and a case where (B) is represented by a spherical surface, respectively. In FIG. 10, as shown in FIG. 10A, the format of the whole celestial sphere image is a pixel corresponding to the angle coordinates of a horizontal angle of 0 to 360 degrees and a vertical angle of 0 to 180 degrees when expanded on a plane. It is an image having a value. The angular coordinates are associated with each point on the spherical surface shown in FIG. 10B, and are similar to the latitude / longitude coordinates on the globe.
魚眼レンズで撮影された画像の平面座標値と、全天球画像の球面座標値との関係は、図５で説明したような射影関数ｆ（ｈ＝ｆ（θ））を用いることによって対応付けることができる。これにより、魚眼レンズで撮影された部分画像２枚を変換して結合（合成）することによって、図１０に示すような全天球画像を作成することができる。 The relationship between the plane coordinate values of the image taken by the fisheye lens and the spherical coordinate values of the spherical image can be associated by using the projection function f (h = f (θ)) as described in FIG. can. As a result, a spherical image as shown in FIG. 10 can be created by converting and combining (combining) two partial images taken by a fisheye lens.
次に、実際に魚眼レンズで撮影された画像を用いて全天球画像が生成される過程について説明する。図１１は、本実施形態における全天球カメラ１１０において２つの魚眼レンズを介して各撮像素子１３０Ａ，１３０Ｂで取得した画像、画像処理装置１５０において変換テーブルによって変換され、変換後の２つの画像が合成されることにより生成された画像をそれぞれ説明する図である。
Next, the process of generating a spherical image using an image actually taken with a fisheye lens will be described. FIG. 11 shows images acquired by the
図１１において、２つの魚眼レンズを介して各撮像素子１３０Ａ，１３０Ｂで撮影された部分画像は、図９で説明したステップＳ３０５の処理、すなわち、修正後の変換テーブルを用いた画像変換処理によって、まず２枚の全天球画像に変換される。この時点で、画像は、全天球画像フォーマットに合致した表現形式、すなわち、図１０に対応する表現となっている。
In FIG. 11, the partial images taken by the respective
図９に示したステップＳ３０６の処理、すなわち、２枚の変換後の画像合成処理によって、図１１に示す最終的な１枚の全天球画像が生成される。すなわち、各半球を担当する２つの全天球画像が、重複している部分をキーにして、重ね合わせて合成され、最終的な全天球画像が生成される。 By the process of step S306 shown in FIG. 9, that is, the image composition process after conversion of the two images, the final spherical image shown in FIG. 11 is generated. That is, the two spherical images in charge of each hemisphere are superposed and combined with the overlapping portion as a key, and the final spherical image is generated.
図１１には、各部分画像における画素の位置と、対応する全天球画像上の画素の位置との対応関係についても示されている。全天球カメラ１１０が正しく垂直方向に載置され、傾くことなく撮影され、全天球カメラ１１０の真上の方向が鉛直線上にある場合、歪曲補正を行うだけで、図１１に示すように、撮影した者が認識する天頂と、水平線とが一致するような画像を得ることができる。このとき、水平線は、部分画像においても中心に位置し、全天球画像においても地球儀の赤道に対応する位置に配置されることになる。
FIG. 11 also shows the correspondence between the positions of the pixels in each partial image and the positions of the pixels on the corresponding spherical image. When the
再び図９を参照すると、ステップＳ３０１〜ステップＳ３０７のループを抜けると、ステップＳ３０８で本処理を終了し、図７に示す呼び出し元の処理に戻す。 Referring to FIG. 9 again, when the loop of steps S301 to S307 is exited, the present process is terminated in step S308, and the process returns to the process of the caller shown in FIG.
再び図７を参照すると、ステップＳ２０５では、画像処理装置１５０は、動画生成部２６４により、変換された所定フレーム数の画像データをエンコードし、傾き補正された動画データを生成して、全天球画像の動画ファイル２７０に書き込む。ステップＳ２０６では、画像処理装置１５０は、読み出す動画ファイル２３０の最後のフレームに達したか否かを判定する。ステップＳ２０６で、未だ最後のフレームに達していないと判定された場合（ＮＯ）は、ステップＳ２０１へ処理をループさせて、次のフレーム群へ処理を進める。一方、ステップＳ２０６で、最後のフレームに達したと判定された場合（ＹＥＳ）は、ステップＳ２０７へ処理を分岐させて、本記録処理を終了する。
Referring to FIG. 7 again, in step S205, the
なお、好ましい実施形態では、ステップＳ２０４と、ステップＳ２０５との間に、時間方向のノイズ抑制画像処理、モスキートノイズやブロックノイズ等の動画圧縮コーデックに由来するノイズや輪郭のボケに対する画像補正処理、色合いの修正処理などの処理を実行することが好ましい。これにより、最終的な画像の高画質化が期待できる。 In a preferred embodiment, between step S204 and step S205, noise suppression image processing in the time direction, image correction processing for noise and contour blur caused by a moving image compression codec such as mosquito noise and block noise, and hue are used. It is preferable to execute processing such as correction processing of. This can be expected to improve the image quality of the final image.
以下、図１２〜図１４を参照しながら、本実施形態における全天球画像の変換テーブルを、記録された全天球カメラ１１０の傾き角に応じて修正する処理について説明する。
Hereinafter, with reference to FIGS. 12 to 14, a process of correcting the conversion table of the spherical image in the present embodiment according to the tilt angle of the recorded
図１２は、本実施形態における全天球画像の変換テーブルを説明する図である。図１２（Ａ）は、変換前後の画像座標値のマトリクスを示した変換テーブルを説明する図である。また、図１２（Ｂ）は、変換後画像の座標値および変換前画像の座標値の関係を説明する図である。 FIG. 12 is a diagram illustrating a conversion table for spherical images in the present embodiment. FIG. 12A is a diagram illustrating a conversion table showing a matrix of image coordinate values before and after conversion. Further, FIG. 12B is a diagram illustrating the relationship between the coordinate values of the converted image and the coordinate values of the unconverted image.
図９に示すステップＳ３０３で説明した画像変換に用いられる変換テーブルは、図１２（Ａ）に示すように、変換後画像の座標値である（θ，φ）（ｐｉｘ：ピクセル）と、それに対応する変換前画像の座標値（ｘ，ｙ）（ｐｉｘ）とのデータセットを、すべての変換後画像の座標値に対して有するものである。ここで、変換テーブルとして、説明する実施形態では、テーブル状のデータ構造を示しているが、必ずしもテーブル状のデータ構造でなくてもかまわない。つまり、変換データであればよい。 As shown in FIG. 12A, the conversion table used for the image conversion described in step S303 shown in FIG. 9 corresponds to the coordinate values (θ, φ) (pix: pixels) of the converted image. It has a data set with the coordinate values (x, y) (pix) of the image before conversion for all the coordinate values of the image after conversion. Here, as the conversion table, in the embodiment described, the table-shaped data structure is shown, but it does not necessarily have to be the table-shaped data structure. That is, it may be converted data.
図１２（Ａ）に示した変換テーブルに従って、撮像された部分画像（変換前画像）から変換後画像を生成することができる。具体的には、図１２（Ｂ）に示すように、変換前と変換後の変換テーブル（図１２（Ａ））の対応関係から、変換後画像の各画素を、座標値（θ，φ）（ｐｉｘ）に対応する変換前画像の座標値（ｘ，ｙ）（ｐｉｘ）の画素値を参照することによって生成することができる。 A post-conversion image can be generated from the captured partial image (pre-conversion image) according to the conversion table shown in FIG. 12 (A). Specifically, as shown in FIG. 12 (B), from the correspondence between the conversion table before conversion and the conversion table (FIG. 12 (A)), each pixel of the converted image is divided into coordinate values (θ, φ). It can be generated by referring to the pixel values of the coordinate values (x, y) (pix) of the pre-conversion image corresponding to (pix).
修正処理前の変換テーブルは、全天球カメラ１１０の真上方向が鉛直線上に一致するものとして、歪み補正を反映したものであり、傾き角に応じた修正処理が施されることにより、修正後の変換テーブルは、全天球カメラ１１０の真上方向を鉛直線上に一致させる天頂補正が反映されたものとなる。
The conversion table before the correction process reflects the distortion correction assuming that the direction directly above the
図１３は、本実施形態における全天球画像に対する変換テーブルの修正処理の動作フローについて説明するフローチャートである。図１３に示す修正処理は、図９に示したステップＳ３０３で呼び出されて、ステップＳ４００から開始される。 FIG. 13 is a flowchart illustrating an operation flow of the correction process of the conversion table for the spherical image in the present embodiment. The correction process shown in FIG. 13 is called in step S303 shown in FIG. 9 and is started from step S400.
図１３において、ステップＳ４０１では、画像処理装置１５０は、変換テーブル修正部２６０により、処理対象である当該フレームに対応する傾き角（α，β）を取得する。次に、ステップＳ４０２では、画像処理装置１５０は、変換テーブル修正部２６０により、変換テーブルの入力値（θ１，φ１）を設定する。なお、図１３において、カメラ座標系については（θ０、φ０）と表記し、グローバル座標系については（θ１、φ１）と表記し、座標系に依存するパラメータ値である（θ、φ）を区別して表記する。すなわち、ここでは、グローバル座標系である（θ１、φ１）が設定される。
In FIG. 13, in step S401, the
次に、ステップＳ４０３では、画像処理装置１５０は、変換テーブル修正部２６０により、鉛直補正演算によって、入力値のグローバル座標系である（θ１、φ１）を、カメラ座標系である（θ０、φ０）に変換する。
Next, in step S403, the
ここで、鉛直補正演算について説明する。図１４は、本実施形態における全天球画像の鉛直補正演算について、（Ａ）カメラ座標系、（Ｂ）グローバル座標系を用いて説明する図である。 Here, the vertical correction calculation will be described. FIG. 14 is a diagram illustrating a vertical correction calculation of a spherical image in the present embodiment using (A) a camera coordinate system and (B) a global coordinate system.
図１４において、グローバル座標系の３次元直交座標を（ｘ１，ｙ１，ｚ１）、球面座標を（θ１，φ１）と表記し、カメラ座標系の３次元直交座標を（ｘ０，ｙ０，ｚ０）、球面座標を（θ０，φ０）と表記する。 In FIG. 14, the three-dimensional orthogonal coordinates of the global coordinate system are expressed as (x1, y1, z1), the spherical coordinates are expressed as (θ1, φ1), and the three-dimensional orthogonal coordinates of the camera coordinate system are expressed as (x0, y0, z0). The spherical coordinates are expressed as (θ0, φ0).
鉛直補正演算では、下記式（３）〜（８）を用いて、球面座標（θ１、φ１）から球面座標（θ０、φ０）への変換を行う。まず、傾きを補正するためには、３次元直交座標を用いて回転変換する必要があるため、下記式（３）式から（５）式を用いて、球面座標（θ１，φ１）から３次元直交座標（ｘ１、ｙ１、ｚ１）への変換を行う。 In the vertical correction calculation, conversion from spherical coordinates (θ1, φ1) to spherical coordinates (θ0, φ0) is performed using the following equations (3) to (8). First, in order to correct the inclination, it is necessary to perform rotation conversion using three-dimensional Cartesian coordinates. Therefore, using the following equations (3) to (5), the spherical coordinates (θ1, φ1) are three-dimensional. Convert to Cartesian coordinates (x1, y1, z1).
次に、傾き角（α、β）を用いて、上記回転座標変換（上記式（６））により、グローバル座標系（ｘ１，ｙ１，ｚ１）を、カメラ座標系（ｘ０，ｙ０，ｚ０）に変換する。換言すれば、上記式（６）は、傾き角（α、β）の定義を与える。 Next, using the tilt angle (α, β), the global coordinate system (x1, y1, z1) is changed to the camera coordinate system (x0, y0, z0) by the above rotation coordinate transformation (the above equation (6)). Convert. In other words, the above equation (6) gives a definition of the tilt angle (α, β).
これは、グローバル座標系を、まずｚ軸を軸にα回転させ、次にｘ軸を軸にβ回転させるとカメラ座標系になることを意味する。最後に、上記式（７）および式（８）式を用いて、カメラ座標系の３次元直交座標（ｘ０，ｙ０，ｚ０）を球面座標（θ０，φ０）に戻す変換を行う。 This means that the global coordinate system becomes a camera coordinate system when first α-rotated around the z-axis and then β-rotated around the x-axis. Finally, using the above equations (7) and (8), the three-dimensional Cartesian coordinates (x0, y0, z0) of the camera coordinate system are converted back to the spherical coordinates (θ0, φ0).
次に、鉛直補正演算の他の実施形態について説明する。他の実施形態における鉛直補正演算では、鉛直補正演算では、下記式（９）〜（１６）を用いて、球面座標（θ１、φ１）から球面座標（θ０、φ０）への変換を行うことができる。他の実施形態では、鉛直補正演算を高速化することができる。上記式（３）〜（８）の変換式は、上記式（９）〜（１６）ように書き直される。 Next, another embodiment of the vertical correction calculation will be described. In the vertical correction calculation in another embodiment, in the vertical correction calculation, the conversion from the spherical coordinates (θ1, φ1) to the spherical coordinates (θ0, φ0) can be performed using the following equations (9) to (16). can. In other embodiments, the vertical correction calculation can be speeded up. The conversion formulas of the above formulas (3) to (8) are rewritten as the above formulas (9) to (16).
すなわち、ｚ軸を軸とする回転α、γは、球面座標（θ、φ）のうちのθの回転そのものであるため、回転変換を、直交座標系に変換することなく、簡単な加減算で可能であり、高速化を可能とする。よって、ｘ軸を軸とする回転βの回転変換のみ、直交座標系を用いた変換が必要となる。これにより、演算速度を上げることができる。 That is, since the rotations α and γ about the z-axis are the rotations of θ in the spherical coordinates (θ, φ), the rotation conversion can be performed by simple addition and subtraction without converting to the Cartesian coordinate system. It enables high speed. Therefore, only the rotation transformation of the rotation β about the x-axis requires the transformation using the Cartesian coordinate system. As a result, the calculation speed can be increased.
上述した実施形態では、鉛直補正演算により座標変換を行っていた。しかしながら、さらに他の実施形態では、変換テーブルを各々が傾き角（α、β）に応じて異なる値となるように複数保持しておくことで、鉛直補正演算の処理を省略し、さらに高速化を図ることができる。つまり、傾き角（α、β）は、原理的には３次元の実数ベクトルであるが、特定の（α、β）に対してのみ変換テーブルを用意しておいて、検出された傾き角（α、β）に最も近いテーブルを採用することで、すべての場合に対して対応が可能である。あるいは、検出された傾き角（α、β）に近いテーブルを複数抽出し、近さに応じた重み付けや差分を取るといった補間演算を行うことも有効である。これにより、補間演算という比較的単純な演算のみで変換テーブルの補正を行うことができ、演算に掛かる処理を抑制することができる。 In the above-described embodiment, the coordinate conversion is performed by the vertical correction calculation. However, in still another embodiment, by holding a plurality of conversion tables so that each of them has a different value according to the tilt angle (α, β), the processing of the vertical correction calculation is omitted, and the speed is further increased. Can be planned. That is, the tilt angle (α, β) is a three-dimensional real number vector in principle, but a conversion table is prepared only for a specific (α, β), and the detected tilt angle (α, β) is detected. By adopting the table closest to α, β), it is possible to deal with all cases. Alternatively, it is also effective to extract a plurality of tables close to the detected tilt angle (α, β) and perform interpolation operations such as weighting and difference according to the proximity. As a result, the conversion table can be corrected only by a relatively simple operation called an interpolation operation, and the processing required for the operation can be suppressed.
再び図１３を参照すると、続いて、ステップＳ４０４では、画像処理装置１５０は、変換テーブル修正部２６０により、変換されたカメラ座標系である（θ０、φ０）を、修正前の変換テーブルを用いて変換前画像の座標値（ｘ、ｙ）に変換する。なお、予め、カメラが傾いていない条件の下で作成された正確な全天球画像が生成されるための変換テーブルが事前に準備されることが前提である。
Referring to FIG. 13 again, subsequently, in step S404, the
次に、ステップＳ４０５では、画像処理装置１５０は、変換テーブル修正部２６０により、グローバル座標系の入力値（θ１，φ１）と、最終的に算出された修正前の座標値（ｘ、ｙ）とを、修正後の変換テーブルの対応する座標セットとして保存する。
Next, in step S405, the
次に、ステップＳ４０６では、画像処理装置１５０は、未処理の入力値（θ１，φ１）、すなわち、対応する修正前の座標値（ｘ、ｙ）が算出されていないグローバル座標系の入力値（θ１，φ１）が残っているか否かを判定する。ステップＳ４０６で、残っていると判定された場合（ＹＥＳ）は、次の値としてグローバル座標系の入力値（θ１、φ１）が設定されるように、ステップＳ４０２へ処理をループさせる。
Next, in step S406, the
一方、ステップＳ４０６で、残っていないと判定された場合（ＮＯ）は、ステップＳ４０７へ処理を分岐させて、本処理を終了し、図９に示した呼び出し元の処理へ戻す。この場合、グローバル座標系の入力値（θ１、φ１）を座標値として有する、全天球画像フォーマットの各画素に対応する補正前の座標値（ｘ、ｙ）の算出が完了したことになる。 On the other hand, if it is determined in step S406 that there is no remaining (NO), the process is branched to step S407, the present process is terminated, and the process is returned to the process of the caller shown in FIG. In this case, the calculation of the uncorrected coordinate values (x, y) corresponding to each pixel of the spherical image format, which has the input values (θ1, φ1) of the global coordinate system as the coordinate values, is completed.
以下、図１１、図１５および図１６を参照しながら、具体的な傾きを補正する処理によって得られる動画のフレームについて説明する。図１５は、傾き補正前の動画のフレーム（全天球画像については修正されていない変換テーブルを用いて変換されたもの）を示し、図１６は、傾き補正後の動画のフレーム（全天球画像については修正された変換テーブルを用いて変換されたもの）を示す図である。また、図１１は、全天球カメラ１１０に傾きが無く、真上方向と鉛直線が一致している場合を例示し、図１５および図１６は、全天球カメラ１１０が傾き、真上方向と鉛直線が一致していない場合を例示する。
Hereinafter, the frame of the moving image obtained by the process of correcting the specific inclination will be described with reference to FIGS. 11, 15, and 16. FIG. 15 shows a frame of a moving image before tilt correction (the spherical image is converted using a conversion table that has not been modified), and FIG. 16 shows a frame of a moving image after tilt correction (omnidirectional image). The image is a diagram showing the image converted using the modified conversion table). Further, FIG. 11 illustrates a case where the
上述したように、全天球カメラ１１０が正しく垂直方向に載置される場合、図１１に示すように、撮影した者が認識する天頂および水平線が一致するように撮像することができる。全天球カメラ１１０を固定具に装着し、水準器等を用いて調整して撮像できる場合には、正しく垂直方向の撮影が可能である。
As described above, when the
しかしながら、一般的に、人間が手持ちで撮像する場合には、水平で垂直に撮影されることは困難である。このように、本体カメラが傾いたままで撮像されると、傾き補正しなければ、図１５に示すように、互いの画像の天頂がずれ、水平線が歪んでしまう。このとき、部分画像における中心線はそのまま全天球画像の赤道に一致することになるが、撮影者が認識する水平線は、全天球画像において曲線として歪んでしまう。仮に図１５に示すように補正を行わないまま動画を視聴すると、視聴中に視野の変更を行った場合、鉛直方向と全天球カメラ１１０の中心軸とのずれによる影響で、三次元酔いの様な不快感を伴ってしまう。
However, in general, when a human is hand-held, it is difficult to take a horizontal and vertical image. As described above, if the main body camera is imaged while being tilted, the zeniths of the images are displaced from each other and the horizon is distorted as shown in FIG. 15 unless the tilt is corrected. At this time, the center line in the partial image coincides with the equator of the spherical image as it is, but the horizontal line recognized by the photographer is distorted as a curve in the spherical image. As shown in FIG. 15, if the video is viewed without correction, if the field of view is changed during viewing, the vertical direction and the central axis of the
これに対して、本実施形態においては、鉛直上向きと天頂の上方向が一致しているように全フレームの画像を変換した上でエンコードを施すことにより、図１６に示すようなフレームが得られる。すなわち、部分画像上で曲線であった撮影者が認識する水平線が、全天球画像において赤道に一致するようになる。このように変換することで、視聴時に視野の変更を行う場合にユーザに三次元酔い等の違和感を与えない全天球動画の作成が可能になる。 On the other hand, in the present embodiment, the frame as shown in FIG. 16 can be obtained by converting the images of all the frames so that the vertically upward direction and the upward direction of the zenith match. .. That is, the horizontal line recognized by the photographer, which is a curve on the partial image, coincides with the equator in the spherical image. By converting in this way, it becomes possible to create a spherical moving image that does not give the user a sense of discomfort such as three-dimensional sickness when changing the visual field during viewing.
以上説明した実施形態によれば準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された動画データを生成することができる撮像システム、撮像装置、プログラムおよびシステムを提供することができる。 According to the embodiment described above, an image pickup system, an image pickup apparatus, a program and a system capable of detecting the tilt of the photographing means with respect to the quasi-direction and generating the moving image data corrected in the tilt according to the detected tilt are provided. be able to.
本実施形態による全天球動画撮像記録機能によれば、動画像の各フレームを記録するのと同じ頻度で全天球カメラ１１０の傾き角を動画像の各フレームと紐付けた傾き角データが別ファイルとして保存される。そして、その傾き角ファイルのデータをフレームと同期させつつ、参照しながら動画像の各フレームにて傾きを補正し、動画像の表示や再エンコードが行われる。このため、鉛直方向が正しい全天球動画データを得ることができ、このため、ユーザが視野の変更を行う際に、三次元酔いのような不快感や違和感を感じさせない全天球動画データを提供することができる。
According to the spherical moving image imaging / recording function according to the present embodiment, the tilt angle data in which the tilt angle of the
静止画であれば、傾き補正を行わずとも、表示アプリケーション側で、表示の際に傾き角の補正を加味した視野の形成を行うことで対応できる。しかしながら、動画データでは、典型的には、１５〜３０フレーム／秒と、常に表示内容が変遷するため、視聴時に対応することは難しい。上述したように、予め傾き角を補正した全天球動画をエンコードし、動画ファイルを生成しておくことにより、好適に、視聴者に対して３次元元酔いなどの不快感を与えない全天球動画表示が可能となる。 If it is a still image, it can be dealt with by forming a field of view in which the tilt angle correction is added at the time of display on the display application side without performing tilt correction. However, with moving image data, the display content is constantly changing, typically 15 to 30 frames / sec, so it is difficult to handle it during viewing. As described above, by encoding the spherical video with the tilt angle corrected in advance and generating the video file, the spherical video is suitably not given to the viewer with discomfort such as 3D sickness. Sphere movie display is possible.
なお、上述した実施形態では、１８０度より大きな画角を有するレンズ光学系で撮像された２つの部分画像を重ね合わせて合成するものとしたが、他の実施形態では、１または複数のレンズ光学系により撮像された３以上の部分画像の重ね合わせ合成に適用してもよい。また、上述した実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、超広角レンズを用いた全天球動画撮像システムに適用してもよい。 In the above-described embodiment, two partial images captured by a lens optical system having an angle of view larger than 180 degrees are superimposed and combined, but in other embodiments, one or more lens optics are combined. It may be applied to superimposing and synthesizing three or more partial images captured by the system. Further, in the above-described embodiment, the imaging system using a fisheye lens has been described as an example, but it may be applied to an omnidirectional moving image imaging system using an ultra-wide-angle lens.
また、上述した実施形態では、撮像された複数のフレームの画像を一旦動画形式に圧縮し、圧縮された動画形式の画像データと、傾きの時系列データとを全天球カメラ１１０から出力するものとした。そして、画像処理装置１５０側で、出力された動画形式の画像データと傾きの時系列データとを読み出し、読み出した動画形式の画像データから、複数のフレーム各々の画像を復元し、復元された複数のフレーム各々の画像に対し傾き補正を行っていた。
Further, in the above-described embodiment, the captured images of a plurality of frames are once compressed into a moving image format, and the compressed moving image format image data and the tilt time-series data are output from the
しかしながら、他の実施形態では、動画形式の画像データを経由せずに、直接、連続する静止画のフレームをグループとして出力する態様としてもよい。すなわち、他の実施形態では、全天球カメラ１１０は、複数のフレームの画像と、傾きの時系列データとを出力する。画像処理装置１５０側では、全天球カメラ１１０により出力された複数のフレームの画像と、傾きの時系列データとを読み出し、読み出した複数のフレーム各々の画像に対し傾き補正を行うことができる。
However, in another embodiment, the frames of continuous still images may be directly output as a group without going through the image data in the moving image format. That is, in another embodiment, the
さらに、上述した実施形態では、外部ストレージを介して、全天球カメラ１１０から画像処理装置１５０へ動画ファイルおよび傾き角ファイルを渡していた。しかしながら、動画データおよび傾き角データの伝達方法は、特に限定されるものではなく、上述したＵＳＢ接続や無線ＬＡＮ接続などの通信手段にて、全天球カメラ１１０から画像処理装置１５０へ転送してもよい。
Further, in the above-described embodiment, the moving image file and the tilt angle file are passed from the
また、上記実施形態では、全天球カメラ１１０の複数の撮像素子１３０Ａ，１３０Ｂのそれぞれで撮像された画像について動画形式の画像データを作成し、画像処理装置１５０でそれぞれの画像を合成していたが、これに限定されるものではない。すなわち、上述のように全天球カメラ１１０側で、撮像素子１３０Ａ，１３０Ｂのそれぞれで撮像された画像を予め合成し、その合成画像から動画形式の画像データを生成し、そのデータを画像処理装置１５０で処理するようにしてもよい。この場合、画像処理装置で画像を合成する処理は不要となる。
Further, in the above embodiment, image data in a moving image format is created for the images captured by each of the plurality of
また、上記実施形態では、全天球動画撮像システムとして、全天球カメラ１１０と画像処理装置１５０とを別体として説明を行ったが、これに限られない。すなわち、全天球動画撮像システムは、全天球カメラ１１０と画像処理装置１５０とを一体として構成してもよい。この場合、ＣＰＵ１１２とＣＰＵ１５２を共通のＣＰＵで構成してもよい。また、データ転送用のバス１４２とバス１６８は一つの線で構成され、各ハードウェア部材はその共通バスで繋がれる。このため、外部ストレージや有線または無線の通信手段を使ってデータの転送を行わなくてもよい。さらに、この場合、動画ファイルと傾き角ファイルを別に記録するようなことは行わずに、傾き角とそれに対応する画像が得られたら、傾き角に応じて傾きが補正（変換）された画像データを生成し、それらの画像データから動画データを生成し、ＤＲＡＭ１３２、ＲＡＭ１５４、ＨＤＤ１５６に記録したり、ディスプレイ１６２に表示したりしてもよい。
Further, in the above embodiment, the
またさらに、上記実施形態では、鉛直方向と全天球カメラ１１０の真上の方向とが一致するとき、傾きがない状態としていたが、これに限られない。鉛直方向以外では、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ１１０や撮像素子１３０Ａ、１３０Ｂ等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。なお、上記実施形態では、傾きの検出に加速度センサを用いたが、加速度センサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ１１０や全天球カメラ１１０に固定された撮像素子１３０Ａ、１３０Ｂ、センサ自体等の傾きを検出するようにしてもよい。
Furthermore, in the above embodiment, when the vertical direction coincides with the direction directly above the
なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。 The above functional unit can be realized by a computer-executable program described in a legacy programming language such as an assembler, C, C ++, C #, Java (registered trademark) or an object-oriented programming language, and is ROM, EEPROM, EPROM. , Flash memory, flexible disc, CD-ROM, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, Blu-ray disc, SD card, MO, etc. Stored in a device-readable recording medium, or through a telecommunications line Can be distributed. In addition, some or all of the functional parts can be mounted on a programmable device (PD) such as a field programmable gate array (FPGA), or as ASIC (integrated for specific applications). Circuit configuration data (bit stream data) to be downloaded to PD to realize the above functional unit on PD, HDL (Hardware Description Language) to generate circuit configuration data, VHDL (Very High Speed Integrated Circuits) It can be distributed by a recording medium as data described by Hardware Description Language), Verilog-HDL, or the like.
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the embodiments of the present invention have been described so far, the embodiments of the present invention are not limited to the above-described embodiments, and those skilled in the art may think of other embodiments, additions, changes, deletions, and the like. It can be changed within the range possible, and is included in the scope of the present invention as long as the action / effect of the present invention is exhibited in any of the embodiments.
（付記）
（付記１）
撮像システムであって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記記録手段により記録された傾きの時系列データおよび前記撮像手段固有の付加情報に基づき、前記撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段と、
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段と
を含む、撮像システム。
（付記２）
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像を動画形式に圧縮する動画圧縮手段と、
前記動画圧縮手段により圧縮された動画形式の画像データと、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された動画形式の画像データと傾きの時系列データとを読み出す読出手段と、
前記読出手段により読み出した動画形式の画像データから、複数のフレーム各々の画像を復元する復元手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記復元手段により復元された複数のフレーム各々の画像に対し傾き補正を行う、付記１に記載の撮像システム。
（付記３）
前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像と、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された複数のフレームの画像と傾きの時系列データとを読み出す読出手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記読出手段により読み出した複数のフレーム各々の画像に対し傾き補正を行う、付記１に記載の撮像システム。
（付記４）
前記撮像手段、前記検出手段、前記記録手段および前記出力手段は、撮像装置に含まれ、前記読出手段、前記補正手段および前記動画生成手段は、前記撮像装置と分離された画像処理装置に含まれる、付記２または３に記載の撮像システム。
（付記５）
前記撮像手段は、第１の広角撮像光学系と、第２の広角撮像光学系とを含み、前記撮像手段が撮像するフレームの画像は、前記第１の広角撮像光学系で撮像された第１の部分画像と、前記第２の広角撮像光学系で撮像された第２の部分画像とを含み、前記補正手段は、
前記第１の部分画像および前記第２の部分画像を球面座標系へ変換する変換データに対し前記傾きに応じて修正を施す修正手段と、
前記修正手段により修正された変換データを用いて前記第１の部分画像および前記第２の部分画像を球面座標系へ変換し、全天球画像を生成する全天球画像生成手段と
を含み、前記動画データは、前記全天球画像の動画データである、付記１〜４のいずれか１つに記載の撮像システム。
（付記６）
前記補正手段は、補正に際して、全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像をメモリ上に展開する、付記１〜５のいずれか１つに記載の撮像システム。
（付記７）
前記基準方向は、鉛直方向であり、前記補正手段は、前記補正手段により補正された複数のフレーム各々の画像の天頂が鉛直線に一致するように補正することを特徴とする、付記１〜６のいずれか１つに記載の撮像システム。
（付記８）
前記検出手段は、加速度センサを含む、付記１〜７のいずれか１つに記載の撮像システム。
（付記９）
画像を撮像する撮像装置であって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記撮像手段により撮像された複数のフレーム各々の画像および前記撮像手段固有の付加情報を出力する第１の出力手段と、
前記記録手段により記録された傾きの時系列データを出力する第２の出力手段と
を含み、前記第１の出力手段により出力された複数のフレーム各々の画像は、前記第２の出力手段により出力された傾きの時系列データおよび前記付加情報に基づき傾き補正が施される、撮像装置。
（付記１０）
画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
撮像装置により撮像された複数のフレームの画像を含む画像データを読み出す第１の読出手段、
前記画像データに対応する前記撮像装置により記録された前記撮像装置の基準方向に対する傾きの時系列データを読み出す第２の読出手段、
前記第２の読出手段により読み出した傾きの時系列データおよび前記撮像装置固有の付加情報に基づき、前記第１の読出し手段により読み出された画像データに含まれる複数のフレーム各々の画像に対し傾き補正を行う補正手段、および
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段
として機能させるためのプログラム。
（付記１１）
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記複数の画像から動画を生成する動画生成手段と、
前記傾きに関する情報、前記動画、および、前記傾きに関する情報とともに用いて前記動画に対し傾き補正を行うための前記撮像手段固有の付加情報を出力する出力手段と、
を備えた撮像装置。
（付記１２）
前記出力手段は、前記動画を構成する前記複数の画像と該複数の画像の各画像を撮像した時の傾きに関する情報を対応させて出力する、付記１１に記載の撮像装置。
（付記１３）
前記撮像手段を複数備え、
前記動画生成手段は、前記複数の撮像手段から出力される複数の画像に対して各々動画を生成し、
前記出力手段は、前記各々の動画を出力する、
付記１１または１２に記載の撮像装置。
（付記１４）
対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記傾きおよび前記撮像手段固有の付加情報に応じて前記複数の画像の変換を行う画像変換手段と、
前記変換された複数の画像から動画を生成する動画生成手段と、
を備えたシステム。
（付記１５）
前記撮像手段を複数備え、
前記画像変換手段は、前記複数の撮像手段から出力される複数の画像の変換を行い、
前記動画生成手段は、前記変換された複数の画像のうち、前記複数の撮像手段で同じタイミングで撮像した画像を一つに合成した画像から動画を生成する、
付記１４に記載のシステム。
(Additional note)
(Appendix 1)
It ’s an imaging system,
An imaging means that captures images of multiple frames,
A detection means for detecting the inclination of the image pickup means with respect to a reference direction, and a detection means.
A recording means for recording time-series data of the inclination detected by the detection means, and a recording means.
Based on the time-series data of the tilt recorded by the recording means and the additional information peculiar to the image pickup means, the correction means for correcting the tilt for each of the images of the plurality of frames captured by the image pickup means.
An imaging system including a moving image generation means for generating moving image data based on an image of each of a plurality of frames corrected by the correction means.
(Appendix 2)
The imaging system further
A moving image compression means for compressing images of a plurality of frames captured by the imaging means into a moving image format,
An output means for outputting video format image data compressed by the moving image compression means and time-series data of inclination recorded by the recording means, and
A reading means for reading out moving image format image data output by the output means and time-series data of inclination, and
The correction means includes a restoration means for restoring an image of each of a plurality of frames from the moving image data read by the reading means, and the correction means is based on the time-series data of the inclination read by the reading means. The imaging system according to
(Appendix 3)
The imaging system further
An output means for outputting images of a plurality of frames captured by the image pickup means and time-series data of inclination recorded by the recording means.
The correction means includes a reading means for reading out images of a plurality of frames output by the output means and time-series data of the inclination, and the correction means is based on the time-series data of the inclination read by the reading means. The imaging system according to
(Appendix 4)
The image pickup means, the detection means, the recording means, and the output means are included in the image pickup device, and the reading means, the correction means, and the moving image generation means are included in the image processing device separated from the image pickup device. , The imaging system according to Appendix 2 or 3.
(Appendix 5)
The imaging means includes a first wide-angle imaging optical system and a second wide-angle imaging optical system, and an image of a frame imaged by the imaging means is a first image captured by the first wide-angle imaging optical system. The correction means includes the partial image of the above and the second partial image captured by the second wide-angle imaging optical system.
A correction means for modifying the first partial image and the conversion data for converting the second partial image into a spherical coordinate system according to the inclination.
It includes an all-sky image generation means for converting the first partial image and the second partial image into a spherical coordinate system using the conversion data corrected by the correction means to generate an all-sky image. The imaging system according to any one of
(Appendix 6)
The imaging system according to any one of
(Appendix 7)
The reference direction is a vertical direction, and the correction means corrects the images of the plurality of frames corrected by the correction means so that the zenith of each image coincides with the vertical line. The imaging system according to any one of the above.
(Appendix 8)
The imaging system according to any one of
(Appendix 9)
An image pickup device that captures images.
An imaging means that captures images of multiple frames,
A detection means for detecting the inclination of the image pickup means with respect to a reference direction, and a detection means.
A recording means for recording time-series data of the inclination detected by the detection means, and a recording means.
A first output means for outputting an image of each of the plurality of frames captured by the image pickup means and additional information peculiar to the image pickup means,
The image of each of the plurality of frames output by the first output means is output by the second output means, including the second output means for outputting the time-series data of the inclination recorded by the recording means. An image pickup device that is tilt-corrected based on the time-series data of the tilt and the additional information.
(Appendix 10)
A program for realizing an image processing device that generates images, and is a computer.
A first reading means for reading image data including images of a plurality of frames captured by an image pickup device,
A second reading means for reading time-series data of the inclination of the image pickup device with respect to the reference direction recorded by the image pickup device corresponding to the image data.
Based on the time-series data of the tilt read by the second reading means and the additional information peculiar to the image pickup device, the tilt is relative to the image of each of the plurality of frames included in the image data read by the first reading means. A program for functioning as a correction means for performing correction and a moving image generation means for generating moving image data based on the images of each of a plurality of frames corrected by the correction means.
(Appendix 11)
An imaging means that captures an object and outputs it as multiple images,
A detection means for detecting the inclination when the object is imaged, and
A moving image generation means for generating a moving image from the plurality of images,
An output means for outputting additional information peculiar to the imaging means for performing tilt correction on the moving image by using the information regarding the tilt, the moving image, and the information regarding the tilt.
An image pickup device equipped with.
(Appendix 12)
The image pickup device according to Appendix 11, wherein the output means outputs information on the tilt when the plurality of images constituting the moving image and each image of the plurality of images are captured in correspondence with each other.
(Appendix 13)
A plurality of the imaging means are provided.
The moving image generation means generates moving images for each of a plurality of images output from the plurality of imaging means.
The output means outputs each of the moving images.
The imaging device according to
(Appendix 14)
An imaging means that captures an object and outputs it as multiple images,
A detection means for detecting the inclination when the object is imaged, and
An image conversion means that converts the plurality of images according to the inclination and additional information peculiar to the image pickup means, and an image conversion means.
A moving image generation means for generating a moving image from a plurality of converted images,
System with.
(Appendix 15)
A plurality of the imaging means are provided.
The image conversion means converts a plurality of images output from the plurality of image pickup means, and converts the plurality of images.
The moving image generation means generates a moving image from an image obtained by synthesizing one image captured at the same timing by the plurality of imaging means among the plurality of converted images.
The system according to
１２…撮像体、１４…筐体、１８…シャッター・ボタン、２０…結像光学系、２２…撮像素子、１００…全天球動画撮像システム、１１０…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…加速度センサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、１４２…バス、１５０…画像処理装置、１５２…ＣＰＵ、１５４…ＲＡＭ、１５６…ＨＤＤ、１５８…入力装置、１６０…外部ストレージ、１６２…ディスプレイ、１６４…無線ＮＩＣ、１６６…ＵＳＢコネクタ、１６８…バス、２００…機能ブロック、２１０…機能ブロック、２１２…撮像部、２１４…動画圧縮部、２１６…傾き検出部、２１８…傾き記録部、２２０…出力部、２３０…動画ファイル、２４０…傾き角ファイル、２５０…機能ブロック、２５２…読出部、２５４…画像復元部、２５６…傾き取得部、２５８…傾き補正部、２６０…変換テーブル修正部、２６２…全天球画像生成部、２６４…動画生成部、２７０…動画ファイル 12 ... imager, 14 ... housing, 18 ... shutter button, 20 ... imaging optical system, 22 ... image pickup element, 100 ... spherical video imaging system, 110 ... spherical camera, 112 ... CPU, 114 ... ROM, 116 ... image processing block, 118 ... video compression block, 120 ... DRAM interface, 122 ... external storage interface, 124 ... external sensor interface, 126 ... USB interface, 128 ... serial block, 130 ... image pickup element, 132 ... DRAM, 134 ... External storage, 136 ... Acceleration sensor, 138 ... USB interface, 140 ... Wireless NIC, 142 ... Bus, 150 ... Image processing device, 152 ... CPU, 154 ... RAM, 156 ... HDD, 158 ... Input device, 160 ... External Storage, 162 ... Display, 164 ... Wireless NIC, 166 ... USB interface, 168 ... Bus, 200 ... Functional block, 210 ... Functional block, 212 ... Imaging unit, 214 ... Video compression unit, 216 ... Tilt detection unit, 218 ... Tilt Recording unit, 220 ... Output unit, 230 ... Movie file, 240 ... Tilt angle file, 250 ... Functional block, 252 ... Reading unit, 254 ... Image restoration unit, 256 ... Tilt acquisition unit, 258 ... Tilt correction unit, 260 ... Conversion Table correction unit, 262 ... spherical image generation unit, 264 ... video generation unit, 270 ... video file
Claims (6)
動画形式の画像のデータである画像データと、撮像手段により前記画像を撮像しているときの基準方向に対する傾きのデータである傾き角データと、前記撮像手段固有の付加情報と、を有するファイル。 A file that stores data for generating video data whose coordinate system is converted by a computer.
A file having image data which is image data in a moving image format, tilt angle data which is tilt data with respect to a reference direction when the image is imaged by an image pickup means, and additional information peculiar to the image pickup means.
前記付加情報は、座標系の変換情報を含むファイル。 The file according to claim 1.
The additional information is a file containing transformation information of the coordinate system.
前記傾き角データは、時系列データとして格納されるファイル。 The file according to claim 1 or 2.
The tilt angle data is a file stored as time series data.
前記傾き角データは、グローバル座標系のｘｙ平面での傾斜角度および重力ベクトルからの傾き角度のデータであるファイル。 The file according to any one of claims 1 to 3.
The tilt angle data is a file that is data of the tilt angle in the xy plane of the global coordinate system and the tilt angle from the gravity vector.
前記画像データは、前記コンピュータによりデコードされると所定数のフレームになり、
前記傾き角データは、前記フレーム各々に対応する傾き角を有するファイル。 The file according to any one of claims 1 to 4.
When the image data is decoded by the computer, it becomes a predetermined number of frames.
The tilt angle data is a file having a tilt angle corresponding to each of the frames.
前記画像データは、時間軸方向の圧縮が行われた形式であるファイル。 The file according to any one of claims 1 to 5.
The image data is a file in which compression is performed in the time axis direction.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014101058 | 2014-05-15 | ||
| JP2014101058 | 2014-05-15 | ||
| JP2015021878 | 2015-02-06 | ||
| JP2015021878 | 2015-02-06 | ||
| JP2020125020A JP6927382B2 (en) | 2014-05-15 | 2020-07-22 | Imaging systems, methods, programs, video display devices and image processing devices. |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020125020A Division JP6927382B2 (en) | 2014-05-15 | 2020-07-22 | Imaging systems, methods, programs, video display devices and image processing devices. |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021185681A true JP2021185681A (en) | 2021-12-09 |
| JP2021185681A5 JP2021185681A5 (en) | 2022-06-28 |
| JP7226484B2 JP7226484B2 (en) | 2023-02-21 |
Family
ID=55073302
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015089189A Active JP5843034B1 (en) | 2014-05-15 | 2015-04-24 | Movie display device and program |
| JP2015222650A Active JP6308198B2 (en) | 2014-05-15 | 2015-11-13 | Imaging apparatus, image processing apparatus, method, and program |
| JP2017249281A Pending JP2018067963A (en) | 2014-05-15 | 2017-12-26 | File |
| JP2017249282A Active JP6740996B2 (en) | 2014-05-15 | 2017-12-26 | Data generation device, image processing device, method and program |
| JP2020125020A Active JP6927382B2 (en) | 2014-05-15 | 2020-07-22 | Imaging systems, methods, programs, video display devices and image processing devices. |
| JP2021127892A Active JP7226484B2 (en) | 2014-05-15 | 2021-08-04 | Imaging system, imaging device, video display device, image processing device, method and program. |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015089189A Active JP5843034B1 (en) | 2014-05-15 | 2015-04-24 | Movie display device and program |
| JP2015222650A Active JP6308198B2 (en) | 2014-05-15 | 2015-11-13 | Imaging apparatus, image processing apparatus, method, and program |
| JP2017249281A Pending JP2018067963A (en) | 2014-05-15 | 2017-12-26 | File |
| JP2017249282A Active JP6740996B2 (en) | 2014-05-15 | 2017-12-26 | Data generation device, image processing device, method and program |
| JP2020125020A Active JP6927382B2 (en) | 2014-05-15 | 2020-07-22 | Imaging systems, methods, programs, video display devices and image processing devices. |
Country Status (1)
| Country | Link |
|---|---|
| JP (6) | JP5843034B1 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5846549B1 (en) | 2015-02-06 | 2016-01-20 | 株式会社リコー | Image processing system, image processing method, program, imaging system, image generation apparatus, image generation method and program |
| JP5920507B1 (en) | 2015-03-10 | 2016-05-18 | 株式会社リコー | Image processing system, image processing method, and program |
| JP6724659B2 (en) | 2016-08-30 | 2020-07-15 | 株式会社リコー | Imaging device, method and program |
| US10264302B2 (en) * | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
| JP7180074B2 (en) | 2017-01-31 | 2022-11-30 | 株式会社リコー | Imaging device |
| GB2559788B (en) * | 2017-02-18 | 2019-12-25 | Denholm Tim | 360 degree dual lens camera |
| JP6969121B2 (en) | 2017-03-17 | 2021-11-24 | 株式会社リコー | Imaging system, image processing device and image processing program |
| WO2018211781A1 (en) | 2017-05-18 | 2018-11-22 | ソニー株式会社 | Image capture device and image capture method |
| KR20200009003A (en) | 2017-05-18 | 2020-01-29 | 소니 주식회사 | Information processing device, information processing method, program |
| WO2018211780A1 (en) | 2017-05-18 | 2018-11-22 | ソニー株式会社 | Imaging device |
| JP2019012935A (en) * | 2017-06-30 | 2019-01-24 | アイホン株式会社 | Intercom device |
| JP7043255B2 (en) * | 2017-12-28 | 2022-03-29 | キヤノン株式会社 | Electronic devices and their control methods |
| JP7231281B2 (en) * | 2018-04-26 | 2023-03-01 | テンエントゥ カンパニー，リミテッド | Wide-angle image provision method |
| JP7467958B2 (en) | 2019-02-13 | 2024-04-16 | 株式会社リコー | Imaging device |
| EP4016464A1 (en) | 2020-11-26 | 2022-06-22 | Ricoh Company, Ltd. | Apparatus, system, method, and carrier means |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005056295A (en) * | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360-degree image conversion processing apparatus |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1169288A (en) * | 1997-08-11 | 1999-03-09 | Nikon Corp | Image processor |
| JP2005004487A (en) * | 2003-06-12 | 2005-01-06 | Sony Corp | Apparatus and method for processing surround image photographed on capture path |
| JP2005063141A (en) * | 2003-08-12 | 2005-03-10 | D Link Corp | Image conversion system and image conversion method |
| JP2006059202A (en) * | 2004-08-20 | 2006-03-02 | Iwate Univ | Imaging device and image correction method |
| JP2006129391A (en) * | 2004-11-01 | 2006-05-18 | Sony Corp | Imaging apparatus |
| JP2006211378A (en) * | 2005-01-28 | 2006-08-10 | Casio Comput Co Ltd | Motion picture recording and reproducing apparatus, motion picture recording apparatus, motion picture reproducing apparatus and program |
| JP2006311196A (en) * | 2005-04-28 | 2006-11-09 | Sony Corp | Imaging apparatus and imaging method |
| JP4886850B2 (en) * | 2007-06-28 | 2012-02-29 | パナソニック株式会社 | Image processing apparatus, image processing method, and program |
| JP2010004227A (en) * | 2008-06-19 | 2010-01-07 | Alps Electric Co Ltd | Imaging apparatus |
| JP2011114496A (en) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | Imaging apparatus |
| WO2011155161A1 (en) * | 2010-06-11 | 2011-12-15 | パナソニック株式会社 | Image processing apparatus and image processing method |
| JP5406813B2 (en) * | 2010-10-05 | 2014-02-05 | 株式会社ソニー・コンピュータエンタテインメント | Panorama image display device and panorama image display method |
| US8681230B2 (en) * | 2010-11-11 | 2014-03-25 | Panasonic Corporation | Picture processing device, picture processing method, program for picture processing, and imaging device |
| JP5971207B2 (en) * | 2012-09-18 | 2016-08-17 | 株式会社リコー | Image adjustment apparatus, image adjustment method, and program |
-
2015
- 2015-04-24 JP JP2015089189A patent/JP5843034B1/en active Active
- 2015-11-13 JP JP2015222650A patent/JP6308198B2/en active Active
-
2017
- 2017-12-26 JP JP2017249281A patent/JP2018067963A/en active Pending
- 2017-12-26 JP JP2017249282A patent/JP6740996B2/en active Active
-
2020
- 2020-07-22 JP JP2020125020A patent/JP6927382B2/en active Active
-
2021
- 2021-08-04 JP JP2021127892A patent/JP7226484B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005056295A (en) * | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360-degree image conversion processing apparatus |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018067964A (en) | 2018-04-26 |
| JP2018067963A (en) | 2018-04-26 |
| JP2016149734A (en) | 2016-08-18 |
| JP2016149752A (en) | 2016-08-18 |
| JP7226484B2 (en) | 2023-02-21 |
| JP6308198B2 (en) | 2018-04-11 |
| JP5843034B1 (en) | 2016-01-13 |
| JP6740996B2 (en) | 2020-08-19 |
| JP6927382B2 (en) | 2021-08-25 |
| JP2020191650A (en) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6927382B2 (en) | Imaging systems, methods, programs, video display devices and image processing devices. | |
| JP5843033B1 (en) | Imaging system, imaging apparatus, program, and system | |
| JP5920507B1 (en) | Image processing system, image processing method, and program | |
| JP7031280B2 (en) | Image processing equipment, image processing systems and programs | |
| JP6724659B2 (en) | Imaging device, method and program | |
| JP6256513B2 (en) | Imaging system, imaging apparatus, method, and program | |
| JP7306089B2 (en) | Image processing system, imaging system, image processing device, imaging device, and program | |
| JP2020096349A (en) | Image processing device, imaging device, moving image reproduction system, method, and program | |
| JP2021005831A (en) | Imaging system, image processing apparatus, imaging apparatus, and program | |
| JP7206797B2 (en) | Imaging device, information processing device, correction value calculation method and program | |
| JP2020174363A (en) | Photographing system, method, and program | |
| US11122202B2 (en) | Imaging device, image processing system, and image processing method | |
| US20200412928A1 (en) | Imaging device, imaging system, and imaging method | |
| JP2020078065A (en) | Imaging apparatus, information processing apparatus, correction amount setting method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7226484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |