JP2016149733A - 撮像システム、撮像装置、プログラムおよびシステム - Google Patents
撮像システム、撮像装置、プログラムおよびシステム Download PDFInfo
- Publication number
- JP2016149733A JP2016149733A JP2015085601A JP2015085601A JP2016149733A JP 2016149733 A JP2016149733 A JP 2016149733A JP 2015085601 A JP2015085601 A JP 2015085601A JP 2015085601 A JP2015085601 A JP 2015085601A JP 2016149733 A JP2016149733 A JP 2016149733A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- inclination
- moving image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 125
- 238000012937 correction Methods 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 90
- 238000012545 processing Methods 0.000 claims description 86
- 230000003287 optical effect Effects 0.000 claims description 24
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 47
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000003860 storage Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 206010025482 malaise Diseases 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】基準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された撮像システム、撮像装置及びプログラムを提供する。【解決手段】撮像システムの機能ブロック200は、複数のフレームの画像を撮像する撮像手段212と、基準方向に対する撮像手段の傾きを検出する検出手段216と、検出手段により検出された傾きの時系列データを記録する記録手段218と、記録手段により記録された傾きの時系列データに基づき、撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段258と、補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段264とを含む。【選択図】図3
Description
本発明は、撮像システムに関し、より詳細には、画像を生成するための撮像システム、撮像装置、プログラムおよびシステムに関する。
近年、1回の撮影により、半球ないし全天球の視野で静止画を撮像できるカメラが実用化されている。また、手持ちで全天球の静止画の撮影が可能なサイズのものも提供されている。このような手持ちサイズのカメラでは、カメラ本体が傾き易いため、本体カメラが傾いた状態の撮影に対応して、撮像された静止画像を傾き補正して表示する機能を備えたものも知られている。
静止画の傾きを補正する技術としては、特開2013‐214947号公報(特許文献1)が知られている。特許文献1は、鉛直方向が正しい静止画を得る目的で、2つの魚眼レンズを有する静止画撮影装置において、内部に備えた鉛直方向からの傾きを得るための加速度センサが検出した傾き角に応じて、魚眼画像の正則画像への変換パラメータを算出する構成を開示する。
また、静止画像のみならず、超広角のレンズにより広範囲を動画像として保存可能なカメラも開発されている。
しかしながら、従来技術の動画像を撮像するカメラでは、手ぶれ補正機能を搭載したものは知られているものの、カメラ本体が傾いた状態で撮像された場合に、鉛直方向と動画像撮像装置の天頂方向とが異なることに起因して不具合があった。すなわち、カメラ本体が傾いた状態で撮像した動画像を視聴する際に、鉛直方向を合わせたまま視野の変更が行われた場合に、複雑な回転が発生してしまい、視聴者に対して3次元酔いなどの不快感を与えてしまう可能性があった。特許文献1の従来技術は、静止画に対応するものであり、鉛直方向が正しい動画像を作成できる技術ではなかった。そのため、カメラの傾き状態にかかわらず、鉛直方向が正しい全天球動画を生成する技術の開発が望まれていた。
本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、基準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された動画データを生成することができる、撮像システム、撮像装置、プログラムおよびシステムを提供することを目的とする。
本発明では、上記課題を解決するために、下記特徴を有する撮像システムを提供する。本撮像システムは、複数のフレームの画像を撮像する撮像手段と、基準方向に対する撮像手段の傾きを検出する検出手段と、上記検出手段により検出された傾きの時系列データを記録する記録手段と、記録手段により記録された傾きの時系列データに基づき、撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段と、補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段とを含む。
上記構成により、基準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された動画データを生成することができる。
以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、撮像装置および撮像システムの一例として、2つの魚眼レンズを光学系に含む撮像体を備える全天球カメラ、および、全天球カメラと、該全天球カメラから分離された画像処理装置とを備える全天球動画撮像システムを用いて説明する。
[全体構成]
以下、図1および図2を参照しながら、本実施形態による全天球動画撮像システムの全体構成について説明する。図1は、本実施形態による全天球動画撮像システム100を構成する全天球カメラ110の断面図である。図1に示す全天球カメラ110は、撮像体12と、上記撮像体12およびコントローラやバッテリなどの部品を保持する筐体14と、上記筐体14に設けられたシャッター・ボタン18とを備える。
以下、図1および図2を参照しながら、本実施形態による全天球動画撮像システムの全体構成について説明する。図1は、本実施形態による全天球動画撮像システム100を構成する全天球カメラ110の断面図である。図1に示す全天球カメラ110は、撮像体12と、上記撮像体12およびコントローラやバッテリなどの部品を保持する筐体14と、上記筐体14に設けられたシャッター・ボタン18とを備える。
図1に示す撮像体12は、2つの結像光学系20A,20Bと、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどの2つの撮像素子22A,22Bとを含み構成される。結像光学系20各々は、例えば6群7枚の魚眼レンズとして構成されている。上記魚眼レンズは、図1に示す実施形態では、180度(=360度/n;光学系数n=2)より大きい全画角を有し、好適には、185度以上の画角を有し、より好適には、190度以上の画角を有する。このような広角な結像光学系20と撮像素子22とを1個ずつ組み合わせたものを広角撮像光学系と参照する。
2つの結像光学系20A,20Bの光学素子(レンズ、プリズム、フィルタおよび開口絞り)は、撮像素子22A,22Bに対して位置関係が定められる。より具体的には、結像光学系20A,20Bの光学素子の光軸が、対応する撮像素子22の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。
図1に示す実施形態では、結像光学系20A,20Bは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子22A,22Bは、受光した光分布を画像信号に変換し、コントローラ上の画像処理手段に順次、画像フレームを出力する。詳細は後述するが、撮像素子22A,22Bでそれぞれ撮像された画像は、画像処理装置150へ転送されて、合成処理されて、これにより、立体角4πステラジアンの画像(以下「全天球画像」と参照する。)が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。そして、全天球画像の連続するフレームにより、全天球動画が構成される。ここで、説明する実施形態では、全天球画像および全天球動画を生成するものとして説明するが、水平面のみ360度を撮影した、いわゆるパノラマ画像およびパノラマ動画であってもよい。
図2(A)は、本実施形態による全天球動画撮像システム100を構成する全天球カメラ110のハードウェア構成を示す。全天球カメラ110は、CPU(Central Processing Unit)112と、ROM(Read Only Memory)114と、画像処理ブロック116と、動画圧縮ブロック118と、DRAM(Dynamic Random Access Memory)インタフェース120を介して接続されるDRAM132と、外部センサインタフェース124を介して接続される加速度センサ136とを含み構成される。
CPU112は、全天球カメラ110の各部の動作および全体動作を制御する。ROM114は、CPU112が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック116は、2つの撮像素子130A,130B(図1における撮像素子22A,22Bである。)と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック116は、ISP(Image Signal Processor)などを含み構成され、撮像素子130から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。
動画圧縮ブロック118は、MPEG−4 AVC/H.264などの動画圧縮および伸張を行うコーデック・ブロックである。DRAM132は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。加速度センサ136は、3軸の加速度成分を検出し、検出された加速度成分は、鉛直方向を検出して全天球画像の天頂補正を施すために用いられる。
全天球カメラ110は、さらに、外部ストレージインタフェース122と、USB(Universal Serial Bus)インタフェース126と、シリアルブロック128とを含み構成される。外部ストレージインタフェース122には、外部ストレージ134が接続される。外部ストレージインタフェース122は、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ134に対する読み書きを制御する。USBインタフェース126には、USBコネクタ138が接続される。USBインタフェース126は、USBコネクタ138を介して接続されるパーソナル・コンピュータなどの外部機器とのUSB通信を制御する。シリアルブロック128は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線NIC(Network Interface Card)140が接続される。
電源スイッチの操作によって電源がオン状態になると、上記制御プログラムがメインメモリにロードされる。CPU112は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ110の後述する各機能部および処理が実現される。
図2(B)は、本実施形態による全天球動画撮像システム100を構成する画像処理装置150のハードウェア構成を示す。図2(B)に示す画像処理装置150は、CPU152と、RAM154と、HDD(Hard Disk Drive)156と、マウスやキーボードなどの入力装置158と、外部ストレージ160と、ディスプレイ162と、無線NIC164と、USBコネクタ166とを含み構成される。
CPU152は、画像処理装置150の各部の動作および全体動作を制御する。RAM154は、CPU152の作業領域を提供する。HDD156は、CPU152が解読可能なコードで記述された、オペレーティング・システム、本実施形態による画像処理装置150側の処理を担うアプリケーションなどの制御プログラムを格納する。
入力装置158は、マウス、キーボード、タッチパッド、タッチスクリーンなどの入力装置であり、ユーザ・インタフェースを提供する。外部ストレージ160は、メモリカードスロットなどに装着された着脱可能な記録媒体であり、動画形式の画像データや静止画データなどの各種データを記録する。ディスプレイ162は、ユーザ操作に応答して再生された全天球動画を画面表示する。無線NIC164は、全天球カメラ110などの外部機器との無線通信の接続を確立する。USBコネクタ166は、全天球カメラ110などの外部機器とのUSB接続をする。
画像処理装置150に電源が投入され電源がオン状態になると、ROMやHDD156から制御プログラムが読み出され、RAM154にロードされる。CPU152は、RAM154に読み込まれた制御プログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、画像処理装置150の後述する各機能部および処理が実現される。
[全天球動画撮像記録機能]
以下、図3〜図16を参照しながら、本実施形態による全天球動画撮像システム100が備える全天球動画撮像記録機能について説明する。図3は、本実施形態による全天球動画撮像システム100上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック200を示す。
以下、図3〜図16を参照しながら、本実施形態による全天球動画撮像システム100が備える全天球動画撮像記録機能について説明する。図3は、本実施形態による全天球動画撮像システム100上に実現される全天球動画撮像記録機能に関連する主要な機能ブロック200を示す。
全天球カメラ110の機能ブロック210は、図3に示すように、撮像部212と、動画圧縮部214と、傾き検出部216と、傾き記録部218と、出力部220とを含み構成される。これに対して、画像処理装置150の機能ブロック250は、読出部252と、画像復元部254と、傾き取得部256と、傾き補正部258と、動画生成部264とを含み構成される。
まず、全天球カメラ110側から説明する。撮像部212は、上述した2つの広角撮像光学系を含み構成され、2つの撮像素子130A,130Bを制御して、連続したフレームを順次撮像する。撮像素子130各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子130それぞれが撮像した画像を部分画像と参照する場合がある。
動画圧縮部214は、動画圧縮ブロック118を含み構成され、撮像部212が撮像した連続するフレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、H.264/MPEG−4 AVC(Advanced Video Coding)、H.265/HEVC(High Efficiency Video Coding)、Motion JPEG(Joint Photographic Experts Group)、Motion JPEG2000などの種々の動画圧縮形式を挙げることができる。
Motion JPEG系は、連続した静止画として動画を表現する形式であり、この方式を採用することにより、高品質な動画を得ることができる。これに対して、H.264/MPEG−4 AVCやH.265/HEVCは、時間軸方向の圧縮を行うことができるため、処理効率が高く、外部ストレージへの書き込み遅延の要件を緩和することができる。手持ちされる全天球カメラ110側では、小型化および低コスト化の要請から、高性能なハードウェアを搭載することが難しいため、好ましい実施形態では、時間軸方向の圧縮を行うことができ、ビットレートを抑制することができるH.264/MPEG−4 AVCやH.265/HEVCを好適に採用することができる。
なお、説明する実施形態では、撮像部212が、2つの撮像素子130A,130Bで同一のタイミングで撮像された2つの魚眼画像をそれぞれ独立に出力し、動画圧縮部214が、独立した2つの魚眼画像のフレームから2つの動画形式の画像データをそれぞれ独立して生成する。しかしながら、画像データの表現形式は、特に限定されるものではない。他の実施形態では、撮像部212が、2つの撮像素子130A,130Bで撮像された2つの魚眼画像を接合して構成された単一の画像を出力し、動画圧縮部214は、この2つの魚眼画像を含む画像をフレームとした動画形式の画像データに圧縮することができる。
傾き検出部216は、加速度センサ136を含み構成され、所定の基準方向に対する全天球カメラ110の傾きを検出する。ここで、所定の基準方向は、典型的には、鉛直方向であり、重力加速度が作用する方向である。傾き検出部216は、3軸加速度センサ136の各加速度成分の信号を傾き記録部218に出力する。傾き記録部218は、傾き検出部216から入力される加速度成分の信号を、動画形式の画像データのフレームに同期してサンプリングし、所定の基準方向に対する傾き角を求める。そして、動画形式の画像データのフレーム・レートと同等のレートの時系列データとして記録する。
なお、説明する実施形態では、動画形式の画像データ中のフレームに対し、傾き角が一対一で対応し、フレームと傾き角とは同期されて保存されているものとして説明する。しかしながら、保存する傾き角のレートは、必ずしもフレーム・レートと同一としなくともよく、一致しない場合は、フレーム・レートでリサンプリングすることにより、フレームに一対一で対応した傾き角を得ればよい。
上述した動画圧縮部214が生成した動画形式の画像データ各々および傾き記録部218が記録した傾き角データは、DRAM132上に一旦保持される。出力部220は、DRAM132上に保持されている動画形式の画像データ各々および傾き角データを、適切な書き込みサイズとなったタイミングで、2つの動画ファイル230および傾き角ファイル240として外部ストレージ134に書き出す。撮影が終了すると、2つの動画ファイル230および傾き角ファイル240が閉じられ、これにより、全天球カメラ110側の処理が終了する。
外部ストレージ134は、全天球カメラ110から取り出され、画像処理装置150に装着される。続いて、画像処理装置150側について説明を移す。読出部252は、画像処理装置150に装着された外部ストレージ160から、全天球カメラ110側で書き出した2つの動画ファイル230および傾き角ファイル240を読み出す。読み出された2つの動画ファイル230は、それぞれ、画像復元部254に渡される。また、読み出された傾き角ファイル240は、傾き取得部256に渡される。なお、外部ストレージ134を着脱させるほか、全天球カメラ110に備えられたUSBインタフェースを通じて、画像処理装置150は、全天球カメラ110に備えられた外部ストレージ134から、全天球カメラ110側で書き出した2つの動画ファイル230および傾き角ファイル240を読み出しても良い。
画像復元部254は、読み出された動画ファイル230各々に対応する所定のコーデックを用いて、読み出された動画ファイル230各々をデコードし、動画を構成する静止画のフレームを復元して、傾き補正部258に入力する。傾き取得部256は、読み出された傾き角ファイル240から、画像復元部254で復元される各フレームに対応する傾き角を取得し、傾き補正部258に入力する。
傾き補正部258は、傾き取得部256から入力された、フレーム各々に対応する傾き角に基づき、画像復元部254で復元された静止画のフレーム各々に対し傾き補正を施すとともに、魚眼画像から全天球画像への変換を行う。傾き補正部258は、より詳細には、変換テーブル修正部260と、全天球画像生成部262とを含み構成される。
画像処理装置150側では、2つの撮像素子130A,130Bで撮像された2つの魚眼画像(これは、それぞれ、動画ファイルのフレームとして画像処理装置へ渡される。)それぞれを球面座標系へ変換し、全天球画像を生成するための変換テーブルを事前に準備している。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、全天球カメラ110の真上方向が鉛直線に一致するものとして、魚眼画像を全天球画像へ変換するデータである。説明する実施形態において、全天球カメラ110が傾いた状態にあり、真上方向と鉛直線とが一致しない場合は、傾きに応じてこの変換データを修正することで天頂補正を反映させる。
動画形式の画像データ各々に含まれる部分画像は、受光領域が面積エリアを成す2次元の撮像素子で撮像されたものであり、平面座標系(x,y)で表現された画像データとなっている(図5(B)、並びに図11に示す第1部分画像および第2部分画像)。これに対し、変換テーブルを用いて天頂補正がかけられた補正後の画像は、球面座標系(動径を1とし、2つの偏角θ,φを有する極座標系である。)で表現された全天球画像フォーマットの画像データとなる(図10、および図11に示す全天球画像)。
変換テーブルは、動画ファイル内に保存され、動画ファイルの読出しとともに取得してもよいし、全天球カメラ110から画像処理装置150へ予めダウンロードしておいてもよい。あるいは、全個体共通の基本となる変換テーブルを画像処理装置側に事前に準備しておき、動画ファイル内に全天球カメラ110の個体特有の変換テーブルを得るための差分データを書き込み、動画ファイルの読出しとともに、固有の変換テーブルを復元してもよい。
変換テーブル修正部260は、取得された傾き角に応じて、画像の天頂方向(観測者の真上の点を指す方向)が、検出された鉛直線(重力が作用する鉛直方向がなす直線)に一致するものとなるように、上述した変換テーブルに対し修正を施す。したがって、修正された変換テーブルを用いて魚眼画像を全天球画像に変換すれば、傾きに応じて天頂方向が鉛直線に一致するような補正が反映された形で、全天球画像が生成される。全天球画像生成部262は、変換テーブル修正部260により修正された変換テーブルを用いて、復元されたフレーム各々に対応する2つの部分画像を、天頂補正が反映された全天球画像へと変換し、全天球画像のフレーム各々を動画生成部264に出力する。変換テーブル修正部260および全天球画像生成部262により、補正後の複数のフレーム各々の画像の天頂方向が鉛直線に一致するように補正される。
動画生成部264は、傾き補正部258により補正された複数のフレーム各々の全天球画像に基づき、所定の動画圧縮形式でエンコードし、最終的な動画データを生成し、動画ファイル270として書き出す。この動画ファイル270は、全天球画像の動画データである。動画圧縮形式は、上述した形式を含む如何なる形式であってもよい。
視聴の際には、この生成された動画データに基づき、表示アプリケーション上で、全天球において指定された特定の視野の画像が再生されて表示されることになる。この生成された動画データにおいては、画像の天頂方向が鉛直線に対し固定されているため、その動画データを視聴中に、表示視野を変更したとしても、視野を変更した通りの回転が生じるのみである。ひいては、視野変更と傾きの変化を伴う複雑な回転の発生が抑制され、三次元酔いなどの不快感を与える可能性を軽減することができる。
以下、図4および図7を参照しながら、本実施形態による全天球カメラ110側での処理および画像処理装置150側での処理の詳細について、分けて説明する。図4は、本実施形態による全天球動画撮像システム100を構成する全天球カメラ110側で行われる撮像処理を示すフローチャートである。図4に示す処理は、全天球カメラ110の動画撮影ボタンが押下されるなど、撮像の開始が指示されたことに応答して、ステップS100から開始される。ステップS101では、全天球カメラ110は、撮像部212により、撮像素子130から1フレーム分の画像データを読み込む。
図5は、魚眼レンズを用いた全天球カメラ110における射影関係を説明する図である。本実施形態において、1つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図5(A)に示すように、光軸に対する入射角度φに対応した像高hで画像を生成する。像高hと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。射影関数は、魚眼レンズの性質によって異なるが、等距離射影方式と呼ばれる投影モデルの魚眼レンズでは、fを焦点距離として、下記式(1)で表現される。
上記投影モデルとしては、その他、中心投影方式(h=f・tanφ)、立体射影方式(h=2f・tan(φ/2))、等立体角射影方式(h=2f・sin(φ/2))および正射影方式(h=f・sinφ)を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離fとに対応して結像の像高hが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図5(B)に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。
説明する実施形態において、1フレーム分の画像データは、2つの撮像素子130A,130Bにより撮像された、それぞれ撮影範囲の概ね半球分が投影されたイメージサークル全体を含む2つの平面画像(図11の第1部分画像および第2部分画像)となる。
再び図4を参照すると、ステップS102では、全天球カメラ110は、撮像部212により、撮像した1フレーム分の画像データに対し、画像処理を施して、DRAM132上に保存させる。まず、撮像素子130から取り込まれたベイヤーRAWの画像に対し、オプティカル・ブラック補正処理、欠陥画素補正処理、リニア補正処理、シェーディング処理などが行われる。そして、ホワイト・バランス処理、ガンマ補正処理、ベイヤー補間処理、YUV変換処理、エッジ強調処理および色補正処理が行われる。
ステップS103では、全天球カメラ110は、傾き記録部218により、撮像したフレームに同期して傾き角を検出し、メモリ上に保存させる。
図6は、本実施形態における全天球カメラ110の傾きについて説明する概略図である。図6において、鉛直方向は、グローバル座標系のxyz3次元方向の直交座標におけるz軸に一致する。この方向と、図6に示した全天球カメラ110の真上の方向とが一致するときが、カメラが傾いてない状態である。これが一致していないときは、全天球カメラ110は、傾いた状態となる。
つまり、重力ベクトルからの傾き角度(以下、傾き角α)と、xy平面での傾斜角度β(以下、傾き角β)とは、加速度センサの出力を用いて、下記式(2)で求められる。ここで、Axは、加速度センサ136のカメラ座標系のx0軸方向成分の値、Ayは、加速度センサ136のカメラ座標系のy0軸方向成分の値、Azは、加速度センサ136のカメラ座標系のz0軸方向成分の値である。ステップS103では、加速度センサ136の各軸方向成分の値から傾き角α,βが求められて、保存される。
再び図4を参照すると、ステップS104では、全天球カメラ110は、取り込んだ1フレーム分の2つの画像データをそれぞれ動画圧縮部214へ入力し、動画形式の2つの画像データをメモリに書き込む。ステップS105では、全天球カメラ110は、動画を書き込む必要があるか否かを判定する。ステップS105で、所定の書き込みサイズに達し、動画を書き込む必要があると判定された場合(YES)は、ステップS106へ処理を分岐させる。ステップS106では、全天球カメラ110は、出力部220により、DRAM132上の動画形式の2つの画像データを外部ストレージ134にそれぞれ動画ファイルとして記録する。一方、ステップS105で、まだ所定の書き込みサイズに達しておらず、動画を書き込む必要がないと判定された場合(NO)は、ステップS107へ直接処理を進める。
ステップS107では、全天球カメラ110は、傾き角データを書き込む必要があるか否かを判定する。ステップS107で、所定の書き込みサイズに達し、傾き角データを書き込む必要があると判定された場合(YES)は、ステップS108へ処理を分岐させる。ステップS108では、全天球カメラ110は、出力部220により、DRAM132上の傾き角データを外部ストレージ134に傾き角ファイルとして記録する。一方、ステップS107で、まだ所定の書き込みサイズに達しておらず、傾き角データを書き込む必要がないと判定された場合(NO)は、ステップS109へ直接処理を進める。
ステップS109では、全天球カメラ110は、撮影が終了されているか否かを判定する。ステップS109で、まだ、ユーザによる撮影終了の指示が行われておらず、撮影が終了ではないと判定された場合(NO)は、ステップS101へ処理をループさせて、次のフレームに対する処理を続ける。一方、ステップS109で、ユーザから撮影終了の指示を受領済みであり、撮影が終了されたと判定された場合(YES)は、ステップS110へ処理を進める。
ステップS110では、全天球カメラ110は、画像処理装置150側で画像を変換するために必要となる付加情報を動画ファイル内に書き込み、ステップS111で全天球カメラ110側での撮像処理を終了する。ここで、画像を変換するために必要となる付加情報は、出力先の画像処理装置150側で、動画を撮像した特定の全天球カメラ110に適合した変換テーブルを復元するためのデータである。付加情報は、変換テーブルそのままであってもよいし、基準の変換テーブルに対応する各個体の変換テーブルの差分データであってもよいし、事前定義された複数の変換テーブルのうちから該当する変換テーブルを特定する識別情報であってもよい。
図7は、本実施形態による全天球動画撮像システム100を構成する画像処理装置150側で行われる記録処理を示すフローチャートである。図7に示す記録処理は、画像処理装置150上で全天球動画生成用のアプリケーションにおいて、動画ファイルおよび傾き角ファイルが指定されてエンコード記録開始の指示が行われたことに応答して、ステップS200から開始される。
ステップS201では、画像処理装置150は、読出部252により、外部ストレージ160から2つの動画ファイルを読み込み、画像復元部254により、所定フレーム数の2つの画像データを復元する。ステップS202では、画像処理装置150は、読出部252により、外部ストレージ160から傾き角ファイルを読み込み、傾き取得部256により、上記復元した所定フレーム数のフレーム各々に対応する傾き角を取得する。
動画ファイル230を構成するすべてのフレームがRAM154上に展開されると、メモリを過大に消費することになる。そこで、好ましい実施形態では、補正に際して、動画ファイル全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像データおよび傾き角データのみをRAM154上に展開するよう構成することができる。この展開する単位は、MPEG−4/AVCなどの時間軸での圧縮を行う形式を採用する場合は、図8に示すような、GOP(Group of Picture)あるいはそれと同等の概念で参照される単位でメモリ上に展開することが効率的である。
GOPは、Iピクチャ、PピクチャおよびBピクチャを含み構成される。Iピクチャは、再生の起点となるピクチャであり、フレーム内予測符号化にて符号化されるピクチャである。Pピクチャは、前のIピクチャまたはPピクチャからフレーム間予測により符号化されるピクチャである。Bピクチャは、前(順方向)、または後(逆方向)、または前後(双方向)のピクチャを利用してフレーム間予測により符号化されるピクチャである。GOPは、少なくとも1つのIピクチャを含むため、GOPの単位でフレームを展開することにより、最小限のフレームを展開することで、所定フレーム数の静止画を復元することができる。
再び図7を参照すると、ステップS203では、画像処理装置150は、動画ファイル内から付加情報を読み込み、当該動画ファイルを撮像した特定の全天球カメラ110固有の変換テーブルを準備する。ステップS204では、画像処理装置150は、取得された傾き角および読み出された付加情報に基づき、動画ファイル各々から復元された所定フレーム数の画像データ各々に変換処理を施す。
図9は、本実施形態による全天球動画撮像システム100を構成する画像処理装置150側で行われる変換処理を示すフローチャートである。図9に示す変換処理は、図7に示したステップS204で呼び出されて、ステップS300から開始される。ステップS301〜ステップS307のループでは、フレーム毎に、ステップS302〜ステップS306の処理が実行される。
ステップS302では、画像処理装置150は、当該フレームに対応する傾き角α,βを設定する。ステップS303では、画像処理装置150は、変換テーブル修正部260により、取得された傾き角α,βに応じて変換テーブルを修正する。変換テーブルの修正処理については、詳細を後述する。
ステップS304では、画像処理装置150は、復元した当該フレームの2つの画像データを入力する。ステップS305では、画像処理装置150は、全天球画像生成部262により、修正された変換テーブルを用いて、復元された当該フレームの2つの画像データ(それぞれ魚眼画像を含む。)を変換し、補正された2つの画像データ(魚眼画像各々に対応する各半球を担当する2つの全天球画像)を生成する。ステップS306では、画像処理装置150は、当該フレームの補正された2つの画像データ(各半球を担当する全天球画像)を組み合わせることで、最終的な画像データ(全天球画像)を生成する。
図10は、本実施形態における全天球画像フォーマットについて、(A)平面で表した場合および(B)球面で表した場合についてそれぞれ説明する図である。図10において、全天球画像のフォーマットは、図10(A)に示すように、平面に展開した場合、水平角度が0から360度、垂直角度が0から180度の角度座標に対応する画素値を有する画像である。角度座標は、図10(B)に示す球面上の座標点の各点と対応付けられており、地球儀上における緯度経度座標のようなものとなっている。
魚眼レンズで撮影された画像の平面座標値と、全天球画像の球面座標値との関係は、図5で説明したような射影関数f(h=f(θ))を用いることによって対応付けることができる。これにより、魚眼レンズで撮影された部分画像2枚を変換して結合(合成)することによって、図10に示すような全天球画像を作成することができる。
次に、実際に魚眼レンズで撮影された画像を用いて全天球画像が生成される過程について説明する。図11は、本実施形態における全天球カメラ110において2つの魚眼レンズを介して各撮像素子130A,130Bで取得した画像、画像処理装置150において変換テーブルによって変換され、変換後の2つの画像が合成されることにより生成された画像をそれぞれ説明する図である。
図11において、2つの魚眼レンズを介して各撮像素子130A,130Bで撮影された部分画像は、図9で説明したステップS305の処理、すなわち、修正後の変換テーブルを用いた画像変換処理によって、まず2枚の全天球画像に変換される。この時点で、画像は、全天球画像フォーマットに合致した表現形式、すなわち、図10に対応する表現となっている。
図9に示したステップS306の処理、すなわち、2枚の変換後の画像合成処理によって、図11に示す最終的な1枚の全天球画像が生成される。すなわち、各半球を担当する2つの全天球画像が、重複している部分をキーにして、重ね合わせて合成され、最終的な全天球画像が生成される。
図11には、各部分画像における画素の位置と、対応する全天球画像上の画素の位置との対応関係についても示されている。全天球カメラ110が正しく垂直方向に載置され、傾くことなく撮影され、全天球カメラ110の真上の方向が鉛直線上にある場合、歪曲補正を行うだけで、図11に示すように、撮影した者が認識する天頂と、水平線とが一致するような画像を得ることができる。このとき、水平線は、部分画像においても中心に位置し、全天球画像においても地球儀の赤道に対応する位置に配置されることになる。
再び図9を参照すると、ステップS301〜ステップS307のループを抜けると、ステップS308で本処理を終了し、図7に示す呼び出し元の処理に戻す。
再び図7を参照すると、ステップS205では、画像処理装置150は、動画生成部264により、変換された所定フレーム数の画像データをエンコードし、傾き補正された動画データを生成して、全天球画像の動画ファイル270に書き込む。ステップS206では、画像処理装置150は、読み出す動画ファイル230の最後のフレームに達したか否かを判定する。ステップS206で、未だ最後のフレームに達していないと判定された場合(NO)は、ステップS201へ処理をループさせて、次のフレーム群へ処理を進める。一方、ステップS206で、最後のフレームに達したと判定された場合(YES)は、ステップS207へ処理を分岐させて、本記録処理を終了する。
なお、好ましい実施形態では、ステップS204と、ステップS205との間に、時間方向のノイズ抑制画像処理、モスキートノイズやブロックノイズ等の動画圧縮コーデックに由来するノイズや輪郭のボケに対する画像補正処理、色合いの修正処理などの処理を実行することが好ましい。これにより、最終的な画像の高画質化が期待できる。
以下、図12〜図14を参照しながら、本実施形態における全天球画像の変換テーブルを、記録された全天球カメラ110の傾き角に応じて修正する処理について説明する。
図12は、本実施形態における全天球画像の変換テーブルを説明する図である。図12(A)は、変換前後の画像座標値のマトリクスを示した変換テーブルを説明する図である。また、図12(B)は、変換後画像の座標値および変換前画像の座標値の関係を説明する図である。
図9に示すステップS303で説明した画像変換に用いられる変換テーブルは、図12(A)に示すように、変換後画像の座標値である(θ,φ)(pix:ピクセル)と、それに対応する変換前画像の座標値(x,y)(pix)とのデータセットを、すべての変換後画像の座標値に対して有するものである。ここで、変換テーブルとして、説明する実施形態では、テーブル状のデータ構造を示しているが、必ずしもテーブル状のデータ構造でなくてもかまわない。つまり、変換データであればよい。
図12(A)に示した変換テーブルに従って、撮像された部分画像(変換前画像)から変換後画像を生成することができる。具体的には、図12(B)に示すように、変換前と変換後の変換テーブル(図12(A))の対応関係から、変換後画像の各画素を、座標値(θ,φ)(pix)に対応する変換前画像の座標値(x,y)(pix)の画素値を参照することによって生成することができる。
修正処理前の変換テーブルは、全天球カメラ110の真上方向が鉛直線上に一致するものとして、歪み補正を反映したものであり、傾き角に応じた修正処理が施されることにより、修正後の変換テーブルは、全天球カメラ110の真上方向を鉛直線上に一致させる天頂補正が反映されたものとなる。
図13は、本実施形態における全天球画像に対する変換テーブルの修正処理の動作フローについて説明するフローチャートである。図13に示す修正処理は、図9に示したステップS303で呼び出されて、ステップS400から開始される。
図13において、ステップS401では、画像処理装置150は、変換テーブル修正部260により、処理対象である当該フレームに対応する傾き角(α,β)を取得する。次に、ステップS402では、画像処理装置150は、変換テーブル修正部260により、変換テーブルの入力値(θ1,φ1)を設定する。なお、図13において、カメラ座標系については(θ0、φ0)と表記し、グローバル座標系については(θ1、φ1)と表記し、座標系に依存するパラメータ値である(θ、φ)を区別して表記する。すなわち、ここでは、グローバル座標系である(θ1、φ1)が設定される。
次に、ステップS403では、画像処理装置150は、変換テーブル修正部260により、鉛直補正演算によって、入力値のグローバル座標系である(θ1、φ1)を、カメラ座標系である(θ0、φ0)に変換する。
ここで、鉛直補正演算について説明する。図14は、本実施形態における全天球画像の鉛直補正演算について、(A)カメラ座標系、(B)グローバル座標系を用いて説明する図である。
図14において、グローバル座標系の3次元直交座標を(x1,y1,z1)、球面座標を(θ1,φ1)と表記し、カメラ座標系の3次元直交座標を(x0,y0,z0)、球面座標を(θ0,φ0)と表記する。
鉛直補正演算では、下記式(3)〜(8)を用いて、球面座標(θ1、φ1)から球面座標(θ0、φ0)への変換を行う。まず、傾きを補正するためには、3次元直交座標を用いて回転変換する必要があるため、下記式(3)式から(5)式を用いて、球面座標(θ1,φ1)から3次元直交座標(x1、y1、z1)への変換を行う。
次に、傾き角(α、β)を用いて、上記回転座標変換(上記式(6))により、グローバル座標系(x1,y1,z1)を、カメラ座標系(x0,y0,z0)に変換する。換言すれば、上記式(6)は、傾き角(α、β)の定義を与える。
これは、グローバル座標系を、まずz軸を軸にα回転させ、次にx軸を軸にβ回転させるとカメラ座標系になることを意味する。最後に、上記式(7)および式(8)式を用いて、カメラ座標系の3次元直交座標(x0,y0,z0)を球面座標(θ0,φ0)に戻す変換を行う。
次に、鉛直補正演算の他の実施形態について説明する。他の実施形態における鉛直補正演算では、鉛直補正演算では、下記式(9)〜(16)を用いて、球面座標(θ1、φ1)から球面座標(θ0、φ0)への変換を行うことができる。他の実施形態では、鉛直補正演算を高速化することができる。上記式(3)〜(8)の変換式は、上記式(9)〜(16)ように書き直される。
すなわち、z軸を軸とする回転α、γは、球面座標(θ、φ)のうちのθの回転そのものであるため、回転変換を、直交座標系に変換することなく、簡単な加減算で可能であり、高速化を可能とする。よって、x軸を軸とする回転βの回転変換のみ、直交座標系を用いた変換が必要となる。これにより、演算速度を上げることができる。
上述した実施形態では、鉛直補正演算により座標変換を行っていた。しかしながら、さらに他の実施形態では、変換テーブルを各々が傾き角(α、β)に応じて異なる値となるように複数保持しておくことで、鉛直補正演算の処理を省略し、さらに高速化を図ることができる。つまり、傾き角(α、β)は、原理的には3次元の実数ベクトルであるが、特定の(α、β)に対してのみ変換テーブルを用意しておいて、検出された傾き角(α、β)に最も近いテーブルを採用することで、すべての場合に対して対応が可能である。あるいは、検出された傾き角(α、β)に近いテーブルを複数抽出し、近さに応じた重み付けや差分を取るといった補間演算を行うことも有効である。これにより、補間演算という比較的単純な演算のみで変換テーブルの補正を行うことができ、演算に掛かる処理を抑制することができる。
再び図13を参照すると、続いて、ステップS404では、画像処理装置150は、変換テーブル修正部260により、変換されたカメラ座標系である(θ0、φ0)を、修正前の変換テーブルを用いて変換前画像の座標値(x、y)に変換する。なお、予め、カメラが傾いていない条件の下で作成された正確な全天球画像が生成されるための変換テーブルが事前に準備されることが前提である。
次に、ステップS405では、画像処理装置150は、変換テーブル修正部260により、グローバル座標系の入力値(θ1,φ1)と、最終的に算出された修正前の座標値(x、y)とを、修正後の変換テーブルの対応する座標セットとして保存する。
次に、ステップS406では、画像処理装置150は、未処理の入力値(θ1,φ1)、すなわち、対応する修正前の座標値(x、y)が算出されていないグローバル座標系の入力値(θ1,φ1)が残っているか否かを判定する。ステップS406で、残っていると判定された場合(YES)は、次の値としてグローバル座標系の入力値(θ1、φ1)が設定されるように、ステップS402へ処理をループさせる。
一方、ステップS406で、残っていないと判定された場合(NO)は、ステップS407へ処理を分岐させて、本処理を終了し、図9に示した呼び出し元の処理へ戻す。この場合、グローバル座標系の入力値(θ1、φ1)を座標値として有する、全天球画像フォーマットの各画素に対応する補正前の座標値(x、y)の算出が完了したことになる。
以下、図11、図15および図16を参照しながら、具体的な傾きを補正する処理によって得られる動画のフレームについて説明する。図15は、傾き補正前の動画のフレーム(全天球画像については修正されていない変換テーブルを用いて変換されたもの)を示し、図16は、傾き補正後の動画のフレーム(全天球画像については修正された変換テーブルを用いて変換されたもの)を示す図である。また、図11は、全天球カメラ110に傾きが無く、真上方向と鉛直線が一致している場合を例示し、図15および図16は、全天球カメラ110が傾き、真上方向と鉛直線が一致していない場合を例示する。
上述したように、全天球カメラ110が正しく垂直方向に載置される場合、図11に示すように、撮影した者が認識する天頂および水平線が一致するように撮像することができる。全天球カメラ110を固定具に装着し、水準器等を用いて調整して撮像できる場合には、正しく垂直方向の撮影が可能である。
しかしながら、一般的に、人間が手持ちで撮像する場合には、水平で垂直に撮影されることは困難である。このように、本体カメラが傾いたままで撮像されると、傾き補正しなければ、図15に示すように、互いの画像の天頂がずれ、水平線が歪んでしまう。このとき、部分画像における中心線はそのまま全天球画像の赤道に一致することになるが、撮影者が認識する水平線は、全天球画像において曲線として歪んでしまう。仮に図15に示すように補正を行わないまま動画を視聴すると、視聴中に視野の変更を行った場合、鉛直方向と全天球カメラ110の中心軸とのずれによる影響で、三次元酔いの様な不快感を伴ってしまう。
これに対して、本実施形態においては、鉛直上向きと天頂の上方向が一致しているように全フレームの画像を変換した上でエンコードを施すことにより、図16に示すようなフレームが得られる。すなわち、部分画像上で曲線であった撮影者が認識する水平線が、全天球画像において赤道に一致するようになる。このように変換することで、視聴時に視野の変更を行う場合にユーザに三次元酔い等の違和感を与えない全天球動画の作成が可能になる。
以上説明した実施形態によれば準方向に対する撮影手段の傾きを検出し、検出された傾きに応じて傾き補正された動画データを生成することができる撮像システム、撮像装置、プログラムおよびシステムを提供することができる。
本実施形態による全天球動画撮像記録機能によれば、動画像の各フレームを記録するのと同じ頻度で全天球カメラ110の傾き角を動画像の各フレームと紐付けた傾き角データが別ファイルとして保存される。そして、その傾き角ファイルのデータをフレームと同期させつつ、参照しながら動画像の各フレームにて傾きを補正し、動画像の表示や再エンコードが行われる。このため、鉛直方向が正しい全天球動画データを得ることができ、このため、ユーザが視野の変更を行う際に、三次元酔いのような不快感や違和感を感じさせない全天球動画データを提供することができる。
静止画であれば、傾き補正を行わずとも、表示アプリケーション側で、表示の際に傾き角の補正を加味した視野の形成を行うことで対応できる。しかしながら、動画データでは、典型的には、15〜30フレーム/秒と、常に表示内容が変遷するため、視聴時に対応することは難しい。上述したように、予め傾き角を補正した全天球動画をエンコードし、動画ファイルを生成しておくことにより、好適に、視聴者に対して3次元元酔いなどの不快感を与えない全天球動画表示が可能となる。
なお、上述した実施形態では、180度より大きな画角を有するレンズ光学系で撮像された2つの部分画像を重ね合わせて合成するものとしたが、他の実施形態では、1または複数のレンズ光学系により撮像された3以上の部分画像の重ね合わせ合成に適用してもよい。また、上述した実施形態では、魚眼レンズを用いた撮像システムを一例に説明してきたが、超広角レンズを用いた全天球動画撮像システムに適用してもよい。
また、上述した実施形態では、撮像された複数のフレームの画像を一旦動画形式に圧縮し、圧縮された動画形式の画像データと、傾きの時系列データとを全天球カメラ110から出力するものとした。そして、画像処理装置150側で、出力された動画形式の画像データと傾きの時系列データとを読み出し、読み出した動画形式の画像データから、複数のフレーム各々の画像を復元し、復元された複数のフレーム各々の画像に対し傾き補正を行っていた。
しかしながら、他の実施形態では、動画形式の画像データを経由せずに、直接、連続する静止画のフレームをグループとして出力する態様としてもよい。すなわち、他の実施形態では、全天球カメラ110は、複数のフレームの画像と、傾きの時系列データとを出力する。画像処理装置150側では、全天球カメラ110により出力された複数のフレームの画像と、傾きの時系列データとを読み出し、読み出した複数のフレーム各々の画像に対し傾き補正を行うことができる。
さらに、上述した実施形態では、外部ストレージを介して、全天球カメラ110から画像処理装置150へ動画ファイルおよび傾き角ファイルを渡していた。しかしながら、動画データおよび傾き角データの伝達方法は、特に限定されるものではなく、上述したUSB接続や無線LAN接続などの通信手段にて、全天球カメラ110から画像処理装置150へ転送してもよい。
また、上記実施形態では、全天球カメラ110の複数の撮像素子130A,130Bのそれぞれで撮像された画像について動画形式の画像データを作成し、画像処理装置150でそれぞれの画像を合成していたが、これに限定されるものではない。すなわち、上述のように全天球カメラ110側で、撮像素子130A,130Bのそれぞれで撮像された画像を予め合成し、その合成画像から動画形式の画像データを生成し、そのデータを画像処理装置150で処理するようにしてもよい。この場合、画像処理装置で画像を合成する処理は不要となる。
また、上記実施形態では、全天球動画撮像システムとして、全天球カメラ110と画像処理装置150とを別体として説明を行ったが、これに限られない。すなわち、全天球動画撮像システムは、全天球カメラ110と画像処理装置150とを一体として構成してもよい。この場合、CPU112とCPU152を共通のCPUで構成してもよい。また、データ転送用のバス142とバス168は一つの線で構成され、各ハードウェア部材はその共通バスで繋がれる。このため、外部ストレージや有線または無線の通信手段を使ってデータの転送を行わなくてもよい。さらに、この場合、動画ファイルと傾き角ファイルを別に記録するようなことは行わずに、傾き角とそれに対応する画像が得られたら、傾き角に応じて傾きが補正(変換)された画像データを生成し、それらの画像データから動画データを生成し、DRAM132、RAM154、HDD156に記録したり、ディスプレイ162に表示したりしてもよい。
またさらに、上記実施形態では、鉛直方向と全天球カメラ110の真上の方向とが一致するとき、傾きがない状態としていたが、これに限られない。鉛直方向以外では、たとえば水平方向やその他所望の方向を基準方向として設定し、その基準方向に対する全天球カメラ110や撮像素子130A、130B等所定の物体との傾きに基づいて画像の傾きを修正するようにしてもよい。なお、上記実施形態では、傾きの検出に加速度センサを用いたが、加速度センサと地磁気センサの組合せなどのその他の傾きセンサにより、全天球カメラ110や全天球カメラ110に固定された撮像素子130A、130B、センサ自体等の傾きを検出するようにしてもよい。
なお、上記機能部は、アセンブラ、C、C++、C#、Java(登録商標)などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ROM、EEPROM、EPROM、フラッシュメモリ、フレキシブルディスク、CD−ROM、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、ブルーレイディスク、SDカード、MOなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ(FPGA)などのプログラマブル・デバイス(PD)上に実装することができ、あるいはASIC(特定用途向集積)として実装することができ、上記機能部をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog−HDLなどにより記述されたデータとして記録媒体により配布することができる。
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
12…撮像体、14…筐体、18…シャッター・ボタン、20…結像光学系、22…撮像素子、100…全天球動画撮像システム、110…全天球カメラ、112…CPU、114…ROM、116…画像処理ブロック、118…動画圧縮ブロック、120…DRAMインタフェース、122…外部ストレージインタフェース、124…外部センサインタフェース、126…USBインタフェース、128…シリアルブロック、130…撮像素子、132…DRAM、134…外部ストレージ、136…加速度センサ、138…USBコネクタ、140…無線NIC、142…バス、150…画像処理装置、152…CPU、154…RAM、156…HDD、158…入力装置、160…外部ストレージ、162…ディスプレイ、164…無線NIC、166…USBコネクタ、168…バス、200…機能ブロック、210…機能ブロック、212…撮像部、214…動画圧縮部、216…傾き検出部、218…傾き記録部、220…出力部、230…動画ファイル、240…傾き角ファイル、250…機能ブロック、252…読出部、254…画像復元部、256…傾き取得部、258…傾き補正部、260…変換テーブル修正部、262…全天球画像生成部、264…動画生成部、270…動画ファイル
Claims (15)
- 撮像システムであって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記記録手段により記録された傾きの時系列データに基づき、前記撮像手段により撮像された複数のフレーム各々の画像に対し傾き補正を行う補正手段と、
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段と
を含む、撮像システム。 - 前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像を動画形式に圧縮する動画圧縮手段と、
前記動画圧縮手段により圧縮された動画形式の画像データと、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された動画形式の画像データと傾きの時系列データとを読み出す読出手段と、
前記読出手段により読み出した動画形式の画像データから、複数のフレーム各々の画像を復元する復元手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記復元手段により復元された複数のフレーム各々の画像に対し傾き補正を行う、請求項1に記載の撮像システム。 - 前記撮像システムは、さらに、
前記撮像手段により撮像された複数のフレームの画像と、前記記録手段により記録された傾きの時系列データとを出力する出力手段と、
前記出力手段により出力された複数のフレームの画像と傾きの時系列データとを読み出す読出手段と
を含み、前記補正手段は、前記読出手段により読み出された傾きの時系列データに基づいて、前記読出手段により読み出した複数のフレーム各々の画像に対し傾き補正を行う、請求項1に記載の撮像システム。 - 前記撮像手段、前記検出手段、前記記録手段および前記出力手段は、撮像装置に含まれ、前記読出手段、前記補正手段および前記動画生成手段は、前記撮像装置と分離された画像処理装置に含まれる、請求項2または3に記載の撮像システム。
- 前記撮像手段は、第1の広角撮像光学系と、第2の広角撮像光学系とを含み、前記撮像手段が撮像するフレームの画像は、前記第1の広角撮像光学系で撮像された第1の部分画像と、前記第2の広角撮像光学系で撮像された第2の部分画像とを含み、前記補正手段は、
前記第1の部分画像および前記第2の部分画像を球面座標系へ変換する変換データに対し前記傾きに応じて修正を施す修正手段と、
前記修正手段により修正された変換データを用いて前記第1の部分画像および前記第2の部分画像を球面座標系へ変換し、全天球画像を生成する全天球画像生成手段と
を含み、前記動画データは、前記全天球画像の動画データである、請求項1〜4のいずれか1項に記載の撮像システム。 - 前記補正手段は、補正に際して、全体を構成するフレームのうちの、起点となるフレームに基づく一部のフレームの画像をメモリ上に展開する、請求項1〜5のいずれか1項に記載の撮像システム。
- 前記基準方向は、鉛直方向であり、前記補正手段は、前記補正手段により補正された複数のフレーム各々の画像の天頂が鉛直線に一致するように補正することを特徴とする、請求項1〜6のいずれか1項に記載の撮像システム。
- 前記検出手段は、加速度センサを含む、請求項1〜7のいずれか1項に記載の撮像システム。
- 画像を撮像する撮像装置であって、
複数のフレームの画像を撮像する撮像手段と、
基準方向に対する前記撮像手段の傾きを検出する検出手段と、
前記検出手段により検出された傾きの時系列データを記録する記録手段と、
前記撮像手段により撮像された複数のフレーム各々の画像を出力する第1の出力手段と、
前記記録手段により記録された傾きの時系列データを出力する第2の出力手段と
を含み、前記第1の出力手段により出力された複数のフレーム各々の画像は、前記第2の出力手段により出力された傾きの時系列データに基づき傾き補正が施される、撮像装置。 - 画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
撮像装置により撮像された複数のフレームの画像を含む画像データを読み出す第1の読出手段、
前記画像データに対応する前記撮像装置により記録された前記撮像装置の基準方向に対する傾きの時系列データを読み出す第2の読出手段、
前記第2の読出手段により読み出した傾きの時系列データに基づき、前記第1の読出し手段により読み出された画像データに含まれる複数のフレーム各々の画像に対し傾き補正を行う補正手段、および
前記補正手段により補正された複数のフレーム各々の画像に基づき、動画データを生成する動画生成手段
として機能させるためのプログラム。 - 対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記複数の画像から動画を生成する動画生成手段と、
前記傾きに関する情報および前記動画を出力する出力手段と、
を備えた撮像装置。 - 前記出力手段は、前記動画を構成する前記複数の画像と該複数の画像の各画像を撮像した時の傾きに関する情報を対応させて出力する、請求項11に記載の撮像装置。
- 前記撮像手段を複数備え、
前記動画生成手段は、前記複数の撮像手段から出力される複数の画像に対して各々動画を生成し、
前記出力手段は、前記各々の動画を出力する、
請求項11または12に記載の撮像装置。 - 対象を撮像し、複数の画像として出力する撮像手段と、
前記対象を撮像したときの傾きを検出する検出手段と、
前記傾きに応じて前記複数の画像の変換を行う画像変換手段と、
前記変換された複数の画像から動画を生成する動画生成手段と、
を備えたシステム。 - 前記撮像手段を複数備え、
前記画像変換手段は、前記複数の撮像手段から出力される複数の画像の変換を行い、
前記動画生成手段は、前記変換された複数の画像のうち、前記複数の撮像手段で同じタイミングで撮像した画像を一つに合成した画像から動画を生成する、
請求項14に記載のシステム。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015085601A JP5843033B1 (ja) | 2014-05-15 | 2015-04-20 | 撮像システム、撮像装置、プログラムおよびシステム |
KR1020197022751A KR20190093703A (ko) | 2014-05-15 | 2015-05-13 | 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템 |
CN201580025123.3A CN106464804B (zh) | 2014-05-15 | 2015-05-13 | 成像***、成像装置、计算机程序和*** |
KR1020187022563A KR102009122B1 (ko) | 2014-05-15 | 2015-05-13 | 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템 |
KR1020167031787A KR101888470B1 (ko) | 2014-05-15 | 2015-05-13 | 촬상 시스템, 촬상 장치, 컴퓨터 프로그램 및 시스템 |
PCT/JP2015/064391 WO2015174547A1 (en) | 2014-05-15 | 2015-05-13 | Imaging system, imaging apparatus, computer program, and system |
EP15792909.2A EP3143761B1 (en) | 2014-05-15 | 2015-05-13 | Imaging system and computer program |
CN201910851220.8A CN110430355B (zh) | 2014-05-15 | 2015-05-13 | 成像***和成像装置 |
US14/941,152 US10681268B2 (en) | 2014-05-15 | 2015-11-13 | Imaging system, imaging apparatus, and system |
US16/862,594 US20200296282A1 (en) | 2014-05-15 | 2020-04-30 | Imaging system, imaging apparatus, and system |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014101058 | 2014-05-15 | ||
JP2014101058 | 2014-05-15 | ||
JP2015021878 | 2015-02-06 | ||
JP2015021878 | 2015-02-06 | ||
JP2015085601A JP5843033B1 (ja) | 2014-05-15 | 2015-04-20 | 撮像システム、撮像装置、プログラムおよびシステム |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015089189A Division JP5843034B1 (ja) | 2014-05-15 | 2015-04-24 | 動画表示装置およびプログラム |
JP2015222650A Division JP6308198B2 (ja) | 2014-05-15 | 2015-11-13 | 撮像装置、画像処理装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5843033B1 JP5843033B1 (ja) | 2016-01-13 |
JP2016149733A true JP2016149733A (ja) | 2016-08-18 |
Family
ID=54480081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015085601A Active JP5843033B1 (ja) | 2014-05-15 | 2015-04-20 | 撮像システム、撮像装置、プログラムおよびシステム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10681268B2 (ja) |
EP (1) | EP3143761B1 (ja) |
JP (1) | JP5843033B1 (ja) |
KR (3) | KR20190093703A (ja) |
CN (2) | CN110430355B (ja) |
WO (1) | WO2015174547A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10397723B2 (en) | 2017-03-07 | 2019-08-27 | Ricoh Company, Ltd. | Apparatus, system, and method of processing data, and recording medium |
US10897573B2 (en) | 2018-11-21 | 2021-01-19 | Ricoh Company, Ltd. | Image capturing system, terminal and computer readable medium which correct images |
US11284094B2 (en) | 2019-11-11 | 2022-03-22 | Ricoh Company, Ltd. | Image capturing device, distribution system, distribution method, and recording medium |
US11348200B2 (en) | 2019-09-20 | 2022-05-31 | Ricoh Company, Ltd. | Information processing apparatus for correcting a zenith of a spherical image, information processing method, and non-transitory computer-readable recording medium |
US11490199B2 (en) | 2017-03-14 | 2022-11-01 | Ricoh Company, Ltd. | Sound recording apparatus, sound system, sound recording method, and carrier means |
JP2023027280A (ja) * | 2017-03-14 | 2023-03-01 | 株式会社リコー | 音響装置、撮像装置、音響システム、方法およびプログラム |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214947A (ja) | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
JP5910485B2 (ja) | 2012-03-16 | 2016-04-27 | 株式会社リコー | 撮像システム |
JP5846549B1 (ja) | 2015-02-06 | 2016-01-20 | 株式会社リコー | 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム |
JP5920507B1 (ja) | 2015-03-10 | 2016-05-18 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
JP6846651B2 (ja) * | 2016-04-15 | 2021-03-24 | パナソニックIpマネジメント株式会社 | 画像処理装置及び撮像装置 |
US10979691B2 (en) * | 2016-05-20 | 2021-04-13 | Qualcomm Incorporated | Circular fisheye video in virtual reality |
US10699389B2 (en) * | 2016-05-24 | 2020-06-30 | Qualcomm Incorporated | Fisheye rendering with lens distortion correction for 360-degree video |
JP2018011172A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社リコー | 撮像装置、撮像システムおよびプログラム |
JP7180074B2 (ja) | 2017-01-31 | 2022-11-30 | 株式会社リコー | 撮像装置 |
WO2018143311A1 (en) * | 2017-01-31 | 2018-08-09 | Ricoh Company, Ltd. | Imaging apparatus |
US20180302932A1 (en) * | 2017-04-14 | 2018-10-18 | Shanghai Xiaoyi Technology Co., Ltd. | Systems and methods for forming a video camera network |
JP2018194615A (ja) * | 2017-05-15 | 2018-12-06 | 日本電産サンキョー株式会社 | 光学ユニット及び光学システム |
WO2019004498A1 (ko) * | 2017-06-29 | 2019-01-03 | 포디리플레이 인코포레이티드 | 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램 |
JP7031280B2 (ja) * | 2017-12-18 | 2022-03-08 | 株式会社リコー | 画像処理装置、画像処理システムおよびプログラム |
CN109819169A (zh) * | 2019-02-13 | 2019-05-28 | 上海闻泰信息技术有限公司 | 全景拍摄方法、装置、设备和介质 |
US20220155337A1 (en) * | 2019-03-27 | 2022-05-19 | Panasonic Intellectual Property Management Co., Ltd. | Signal processing device, inertial sensor, signal processing method, and program |
CN118283416A (zh) * | 2022-09-30 | 2024-07-02 | 荣耀终端有限公司 | 对dtof器件的控制方法及装置 |
CN117011179B (zh) * | 2023-08-09 | 2024-07-23 | 北京精英路通科技有限公司 | 一种图像转换方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063141A (ja) * | 2003-08-12 | 2005-03-10 | D Link Corp | 画像変換システム及び画像変換方法 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP2011114496A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | 撮像装置 |
WO2011155161A1 (ja) * | 2010-06-11 | 2011-12-15 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
WO2012063467A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5159401A (en) * | 1990-09-06 | 1992-10-27 | Decker Jr John A | Elevation-angle sensing, celestial navigation and surveying |
US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
US7714936B1 (en) * | 1991-05-13 | 2010-05-11 | Sony Corporation | Omniview motionless camera orientation system |
US7176960B1 (en) * | 1999-09-20 | 2007-02-13 | The Trustees Of Columbia University In The City Of New York | System and methods for generating spherical mosaic images |
JP3901552B2 (ja) * | 2002-03-15 | 2007-04-04 | 日本電信電話株式会社 | 全方位カメラ視点運動並びに物体形状復元方法、装置、全方位カメラ視点運動並びに物体形状復元プログラム、及び該プログラムを記録した記録媒体 |
JP4211292B2 (ja) * | 2002-06-03 | 2009-01-21 | ソニー株式会社 | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 |
JP2004118786A (ja) * | 2002-09-30 | 2004-04-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4142460B2 (ja) | 2003-01-31 | 2008-09-03 | オリンパス株式会社 | 運動検出装置 |
US7982777B2 (en) * | 2005-04-07 | 2011-07-19 | Axis Engineering Technologies, Inc. | Stereoscopic wide field of view imaging system |
JP4857143B2 (ja) * | 2007-02-20 | 2012-01-18 | アルパイン株式会社 | カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法 |
JP2009200985A (ja) * | 2008-02-25 | 2009-09-03 | Hitachi Ltd | 映像処理装置 |
JP5163409B2 (ja) * | 2008-10-03 | 2013-03-13 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム |
US20100265313A1 (en) * | 2009-04-17 | 2010-10-21 | Sony Corporation | In-camera generation of high quality composite panoramic images |
JP2010271675A (ja) | 2009-05-20 | 2010-12-02 | Masamichi Tokuzawa | 全天動画撮影システム |
JP5231331B2 (ja) * | 2009-05-29 | 2013-07-10 | 株式会社エム・ソフト | 映像合成方法、映像合成システム |
KR100988872B1 (ko) * | 2009-07-08 | 2010-10-20 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서 |
US9110365B2 (en) * | 2009-11-19 | 2015-08-18 | Olympus Corporation | Imaging apparatus |
JP5593695B2 (ja) * | 2009-12-28 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9930225B2 (en) * | 2011-02-10 | 2018-03-27 | Villmer Llc | Omni-directional camera and related viewing software |
JP5790345B2 (ja) | 2011-09-07 | 2015-10-07 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび画像処理システム |
JP5659304B2 (ja) * | 2011-11-07 | 2015-01-28 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
KR20130084720A (ko) * | 2012-01-18 | 2013-07-26 | 삼성전기주식회사 | 영상 처리 장치 및 방법 |
JP6123274B2 (ja) | 2012-03-08 | 2017-05-10 | 株式会社リコー | 撮像装置 |
JP6079031B2 (ja) | 2012-08-01 | 2017-02-15 | 株式会社リコー | 撮像装置 |
JP2014050039A (ja) * | 2012-09-03 | 2014-03-17 | Sony Corp | 画像処理装置、画像処理方法及びコンピュータプログラム |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
JP6019970B2 (ja) * | 2012-09-11 | 2016-11-02 | 株式会社リコー | 全天球型の撮像システムおよび撮像光学系 |
JP5971207B2 (ja) | 2012-09-18 | 2016-08-17 | 株式会社リコー | 画像調整装置、画像調整方法およびプログラム |
JP2014112302A (ja) | 2012-12-05 | 2014-06-19 | Ricoh Co Ltd | 所定領域管理システム、通信方法、及びプログラム |
JP6044328B2 (ja) | 2012-12-26 | 2016-12-14 | 株式会社リコー | 画像処理システム、画像処理方法およびプログラム |
US20140313316A1 (en) * | 2013-01-30 | 2014-10-23 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods using multiple image sensors |
US9177362B2 (en) * | 2013-08-02 | 2015-11-03 | Facebook, Inc. | Systems and methods for transforming an image |
-
2015
- 2015-04-20 JP JP2015085601A patent/JP5843033B1/ja active Active
- 2015-05-13 EP EP15792909.2A patent/EP3143761B1/en active Active
- 2015-05-13 KR KR1020197022751A patent/KR20190093703A/ko active IP Right Grant
- 2015-05-13 KR KR1020167031787A patent/KR101888470B1/ko active IP Right Grant
- 2015-05-13 CN CN201910851220.8A patent/CN110430355B/zh active Active
- 2015-05-13 KR KR1020187022563A patent/KR102009122B1/ko active IP Right Grant
- 2015-05-13 WO PCT/JP2015/064391 patent/WO2015174547A1/en active Application Filing
- 2015-05-13 CN CN201580025123.3A patent/CN106464804B/zh active Active
- 2015-11-13 US US14/941,152 patent/US10681268B2/en active Active
-
2020
- 2020-04-30 US US16/862,594 patent/US20200296282A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005063141A (ja) * | 2003-08-12 | 2005-03-10 | D Link Corp | 画像変換システム及び画像変換方法 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
JP2011114496A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | 撮像装置 |
WO2011155161A1 (ja) * | 2010-06-11 | 2011-12-15 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
WO2012063467A1 (ja) * | 2010-11-11 | 2012-05-18 | パナソニック株式会社 | 画像処理装置、画像処理方法、プログラム及び撮影装置 |
JP2013214947A (ja) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10397723B2 (en) | 2017-03-07 | 2019-08-27 | Ricoh Company, Ltd. | Apparatus, system, and method of processing data, and recording medium |
US10873824B2 (en) | 2017-03-07 | 2020-12-22 | Ricoh Company, Ltd. | Apparatus, system, and method of processing data, and recording medium |
US11490199B2 (en) | 2017-03-14 | 2022-11-01 | Ricoh Company, Ltd. | Sound recording apparatus, sound system, sound recording method, and carrier means |
JP2023027280A (ja) * | 2017-03-14 | 2023-03-01 | 株式会社リコー | 音響装置、撮像装置、音響システム、方法およびプログラム |
US10897573B2 (en) | 2018-11-21 | 2021-01-19 | Ricoh Company, Ltd. | Image capturing system, terminal and computer readable medium which correct images |
US11348200B2 (en) | 2019-09-20 | 2022-05-31 | Ricoh Company, Ltd. | Information processing apparatus for correcting a zenith of a spherical image, information processing method, and non-transitory computer-readable recording medium |
US11284094B2 (en) | 2019-11-11 | 2022-03-22 | Ricoh Company, Ltd. | Image capturing device, distribution system, distribution method, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
KR20190093703A (ko) | 2019-08-09 |
US20160073024A1 (en) | 2016-03-10 |
WO2015174547A1 (en) | 2015-11-19 |
CN106464804B (zh) | 2019-10-08 |
KR20180091122A (ko) | 2018-08-14 |
KR101888470B1 (ko) | 2018-08-16 |
US10681268B2 (en) | 2020-06-09 |
EP3143761B1 (en) | 2022-10-26 |
CN106464804A (zh) | 2017-02-22 |
EP3143761A4 (en) | 2017-04-26 |
CN110430355B (zh) | 2021-09-28 |
US20200296282A1 (en) | 2020-09-17 |
JP5843033B1 (ja) | 2016-01-13 |
KR20160144486A (ko) | 2016-12-16 |
KR102009122B1 (ko) | 2019-08-08 |
EP3143761A1 (en) | 2017-03-22 |
CN110430355A (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5843033B1 (ja) | 撮像システム、撮像装置、プログラムおよびシステム | |
JP6308198B2 (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
JP5920507B1 (ja) | 画像処理システム、画像処理方法およびプログラム | |
JP7031280B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
JP6724659B2 (ja) | 撮影装置、方法およびプログラム | |
JP6256513B2 (ja) | 撮像システム、撮像装置、方法およびプログラム | |
JP7383911B2 (ja) | 撮像システム、画像処理装置、撮像装置およびプログラム | |
JP7247609B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP2020096349A (ja) | 画像処理装置、撮像装置、動画再生システム、方法およびプログラム | |
JP2020204874A (ja) | 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム | |
JP2020174363A (ja) | 撮影システム、方法およびプログラム | |
US11122202B2 (en) | Imaging device, image processing system, and image processing method | |
US20200412928A1 (en) | Imaging device, imaging system, and imaging method | |
JP2020078065A (ja) | 撮像装置、情報処理装置、補正量設定方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5843033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |