JP2019117330A - 撮影装置、及び撮影システム - Google Patents

撮影装置、及び撮影システム Download PDF

Info

Publication number
JP2019117330A
JP2019117330A JP2017251857A JP2017251857A JP2019117330A JP 2019117330 A JP2019117330 A JP 2019117330A JP 2017251857 A JP2017251857 A JP 2017251857A JP 2017251857 A JP2017251857 A JP 2017251857A JP 2019117330 A JP2019117330 A JP 2019117330A
Authority
JP
Japan
Prior art keywords
imaging
imaging device
image
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2017251857A
Other languages
English (en)
Other versions
JP2019117330A5 (ja
Inventor
英知 小泉
Hidetomo Koizumi
英知 小泉
浩 水藤
Hiroshi Mizufuji
浩 水藤
小田巻 誠
Makoto Odamaki
誠 小田巻
啓一 河口
Keiichi Kawaguchi
啓一 河口
吉田 和弘
Kazuhiro Yoshida
和弘 吉田
高志 大柿
Takashi Ogaki
高志 大柿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017251857A priority Critical patent/JP2019117330A/ja
Publication of JP2019117330A publication Critical patent/JP2019117330A/ja
Publication of JP2019117330A5 publication Critical patent/JP2019117330A5/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Abstract

【課題】VRゴーグル等の進歩により、全天球かつステレオ画像の要求が高まっており、円周上に複数のカメラを並べた全天球のステレオ画像が作成可能なカメラが既に知られている。また、広範な撮影状況に対応する目的で、筐体中央部に回動部を設けることにより、ステレオ画像および“パノラマ”画像取得が可能な携帯電話に関する技術が開示されている。しかし、それぞれ個別のカメラを準備しなければならないという課題が生じる。【解決手段】特殊撮影装置1aは、第1の撮像素子によって得られた第1の画像と第2の撮像素子によって得られた第2の画像とを合成することにより、全天球画像を作成する撮影装置であって、第2の撮像素子を備えた撮影ユニット171bの撮像方向を変更する回動部174aと、この回動部174aによる撮影方向の変更に基づいて、全天球撮影する第1の撮影モードと全天球撮影しない第2の撮影モードとを切り替える。【選択図】図2

Description

本開示内容は、撮影装置、及び撮影システムに関するものである。
近年のVR(Virtual Reality)画像撮影技術の流れとしては、全天球画像撮影とステレオビジョン(立体視)画像撮影という2つがある。また、特に最近においては、VRゴーグル等の進歩により、全天球かつステレオ画像の要求が高まっており、円周上に複数のカメラを並べた全天球のステレオ画像が作成可能なカメラが既に知られている。
また、広範な撮影状況に対応する目的で、筐体中央部に回動部を設けることにより、ステレオ画像および“パノラマ”画像取得が可能な携帯電話に関する技術が開示されている(特許文献1参照)。
しかしながら、今までの全天球撮影およびステレオ画像撮影においては、それぞれ個別のカメラを準備しなければならないという課題が生じる。
請求項1に係る発明は、第1の撮像素子によって得られた第1の画像と第2の撮像素子によって得られた第2の画像とを合成することにより、全天球画像を作成する撮影装置であって、前記第2の撮像素子の撮像方向を変更する変更手段と、前記変更手段による変更に基づいて、前記全天球撮影する第1の撮影モードと前記全天球撮影しない第2の撮影モードとを切り替える切替手段と、を有することを特徴とする撮影装置である。
以上説明したように本発明によれば、撮像素子の撮像方向を変更することにより、1台の撮影装置で、全天球撮影する第1の撮影モードと全天球撮影しない第2の撮影モードとを切り替えることが可能であるため、個別のカメラを準備する必要がないという効果を奏する。
第1の実施形態に係る特殊撮影装置の外観図であり、(a)は特殊撮影装置の左側面図であり、(b)は特殊撮影装置の背面図であり、(c)は特殊撮影装置の平面図であり、(d)は特殊撮影装置の底面図である。 第1の実施形態に係る特殊撮影装置の回動状態の説明図である。 第1の実施形態に係る特殊撮影装置の回動部の回動機構を説明する図である。 第1の実施形態に係る特殊撮影装置の回動部の回動状態を検出する検出機構である。 第1の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。 第1の実施形態に係る特殊撮影装置の機能ブロック図である。 特殊撮影装置の使用状況を示したイメージ図である。 (a)は全天球モードで得られた正距円筒射影画像、(b)はステレオモードで得られたステレオグラム画像である。 (a)はステレオモードで得られた視差画像(全天球ステレオ)、(b)はステレオモードで得られた視差画像(平面ステレオ)である。 (a)はステレオモードで得られたシングルフィッシュアイ画像、(b)はステレオモードで得られたデュアルフィッシュアイ画像である。 (a)は特殊撮影装置で撮影された半球画像(前)、(b)は特殊撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 第1の実施形態に係る特殊撮影装置の撮影に関する座標系を示す図である。 第1の実施形態に係る特殊撮影装置において回動角度と光軸を説明する図である。 撮影モードと出力形式の例を説明する図である。 視線軸補正を説明する場合の第1の実施形態に係る特殊撮影装置の斜視図である。 視線軸補正を説明する場合の第1の実施形態に係る特殊撮影装置の平面図である。 視線軸補正で生成される画像の例を示した図である。 (a)は第1の実施形態に係る特殊撮影装置の撮影ユニットを回動させた場合の撮影領域及び死角領域(撮影不可能領域)を示した図、(b)撮影領域を三次元的に示した図、(c)は撮影画像を示した図である。 第2の実施形態に係る特殊撮影装置の回動状態の説明図である。 第3の実施形態に係る特殊撮影装置の回動状態の説明図である。 第4の実施形態に係る特殊撮影装置の回動状態の説明図である。 第5の実施形態に係り、(a)は撮影システムの全体構成図、(b)は撮影ユニットが開いた状態の要部拡大図、(c)は撮影ユニットが閉じた状態の要部拡大図である。 第5の実施形態に係り、(a)は特殊撮影装置の底面図、(b)は撮影ユニットが開いた状態の特殊撮影装置及び回動軸制御ユニットを示す図、(c)は回動軸制御ユニットの先端部分を示す図、(d)は回動軸の拡大図である。 第5の実施形態に係り、走行ロボット及びコントローラの電気的なハードウェア構成図である。 第5の実施形態に係り、撮影システムの処理フローを示したフローチャートである。 第5の実施形態に係り、撮影システムのコントローラの回動制御の設定例を示した図である。 第6の実施形態に係り、撮像素子の分光感度特性を示した図である。 一般的な赤外カットフィルター特性と赤外カットフィルターを用いた分光感度特性を示した図である。 (a)デュアルバンドフィルターa特性とデュアルバンドフィルターaを用いた分光感度特性を示した図である。 デュアルバンドフィルターb特性とデュアルバンドフィルターbを用いた分光感度特性を示した図である。 第6の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。 第6の実施形態に係る特殊撮影装置の変形例の電気的なハードウェア構成図である。 撮影モードとフィルターの組み合わせ例を示した図である。 第6の実施形態に係り、データ処理から得られる擬似的な分光感度特性の例を示した図である。
以下、図面を用いて、本発明の実施形態について説明する。
〔第1の実施形態〕
図1乃至図18を用いて、本発明の第1の実施形態について説明する。まずは、図1を用いて、特殊撮影装置1aの外観を説明する。図1は、第1の実施形態に係る特殊撮影装置の外観図であり、(a)は特殊撮影装置の左側面図であり、(b)は特殊撮影装置の背面図であり、(c)は特殊撮影装置の平面図であり、(d)は特殊撮影装置の底面図である。
特殊撮影装置1aは、全天球(360°)画像又はステレオ画像の元になる撮影画像を得るためのデジタルカメラである。特殊撮影装置1aは、人間が片手で持つことができる大きさである。また、図1に示されているように、特殊撮影装置1aの上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。特殊撮影装置1aの内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。また、図1(a)、(b)に示されているように、特殊撮影装置1aには、シャッターボタン等の操作部115が設けられている。
撮影ユニット171aは、レンズ102a及び撮像素子103aを含む正面側(前側)の撮影系を含んだユニットであり、前述の操作部115等が配置された部材と一体となっている。撮影ユニット171bは、レンズ102b及び撮像素子103bを含む背面側(後側)の撮影系を含んだユニットである。回動部174aは、特殊撮影装置1aの長手方向を軸に撮影ユニット171bを回動するための回動機構を備えており、回動軸175aは、撮影ユニット171aと撮影ユニット171bとを機械的に接続している。
次に、図2を用いて、特殊撮影装置1aの回動状態について説明する。図2は、第1の実施形態に係る特殊撮影装置の回動状態の説明図である。このうち、図2(a),(c),(e)は、異なる開閉状態の特殊撮影装置1aの斜視図を示し、図2(b),(d),(f)は、それぞれ図2(a),(c),(e)の開閉状態の特殊撮影装置1aの平面図を示している。
(回動状態)
次に、図2を用いて、特殊撮影装置1aの回動状態について説明する。図2は、特殊撮影装置の回動状態を示した図である。図2(a),(b)は、撮影ユニット171a、171bがお互いに接触し、2つのレンズ102a、102bを反対側に配置した場合の状態を示している。なお、図2(a)の撮影ユニット171bの位置を基準位置とする。
図2(c),(d)は、図2(a),(b)の基準位置から回動軸175aを中心に撮影ユニット171bを180度回動させた場合の状態を示している。この状態では、2つのレンズ102a、102bが水平方向に並列に配置され、レンズの光軸が同一方向を向いている。図2(e),(f)は、図2(a),(b)の基準位置から回動軸175aを中心に撮影ユニット171bを180度未満の角度(図では135度)で回動させた場合の状態を示している。この状態では、2つのレンズ102a、102bが水平方向に並列に配置されているが、レンズの光軸は異なる方向を向いている。
(回動機構)
図3を用いて、特殊撮影装置の回動部の回動機構について説明する。図3は、第1の実施形態に係る特殊撮影装置の回動部の回動機構を説明する図である。
図3(a)は、回動部の分解図を示している。回動部174aは、固定ばね用ネジ180、固定ばね181、回転軸175a、固定凹溝182から構成されている。図3(b)は、回動部の上面図を、図3(c)は回動部の側面図を示している。固定ばね181は、板バネであり、固定ばね用ネジ180で撮影ユニット171aに固定されている。固定凹溝182は、撮影ユニット171bの一部に一定角度(図3(b)では45度間隔)の刻みで溝が切られた領域を指している。また、固定ばね181には凸部が設けられており、ユーザが手動により、回動部174aを回転させることにより、固定ばね(板バネ)を用いたクリック機構により、任意の回動角度(図では45度間隔)に固定可能であり、所定位置で固定ばね181の凸部181aが固定凹溝182に嵌ることにより、固定することが可能である。なお、これらの機構を保護するためのカバー等は図示していない。
(回動状態検出)
図4は、第1の実施形態に係る特殊撮影装置の回動部の回動状態を検出する検出機構である。図4を用いて、特殊撮影装置1aの回動部の回動状態を検出する方法について説明する。撮影ユニット171aにスイッチ190を、撮影ユニット171bにスイッチ190を押すスイッチ用凸部191を設けることにより、スイッチ出力によって回動状態が閉じた状態(図2(a))であるか、開いた状態(図2(c)、(e))であるかの判別を行うことができる。また、任意角度(図2(e))の場合には、回転軸にロータリーエンコーダやポテンショメータを設けることにより角度の取得を行うことで、回動機構の回動角度の度合いを検知することが可能である。
<特殊撮影装置のハードウェア構成>
図5は、第1の実施形態に係る特殊撮影装置の電気的なハードウェア構成図である。図5に示されているように、特殊撮影装置1aは、撮像ユニット101a、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、
ジャイロセンサ119、加速度センサ120、スイッチ190、及びポテンショメータ193によって構成されている。
このうち、撮像ユニット101aは、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。撮像素子103a,103bの前にはフィルター108a、108bが装着されている。
撮像ユニット101aの撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101aの撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。特殊撮影装置1aによっては、ディスプレイ(例えば、スマートフォンのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置1aにはディスプレイが設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、特殊撮影装置1aの全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された処理済の画像データのデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してスマートフォン等の外部端末(装置)に送信されたりする。
通信部117は、特殊撮影装置1aに設けられたアンテナ117aを介して、Wi-Fi、NFC(Near Field radio Communication)、Bluetooth等の近距離無線通信技術によって、スマートフォン等の外部端末(装置)と通信を行う。この通信部117によっても、処理済の画像データのデータをスマートフォン等の外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から特殊撮影装置1aの方位及び傾きを算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、出力画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ119は、特殊撮影装置1aの移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、3軸方向の加速度を検出するセンサである。特殊撮影装置1aは、加速度センサ120が検出した加速度に基づいて、自装置(特殊撮影装置1a)の姿勢(重力方向に対する角度)を算出する。特殊撮影装置1aに、ジャイロセンサ119と加速度センサ120の両方が設けられることによって、画像補正の精度が向上する。
スイッチ190は、図4に示されているスイッチ190と同じである。
ポテンショメータ193は、回動角や移動量を電圧に変換する機器(素子)である。
<<実施形態の機能構成>>
次に、図6を用いて、本実施形態の機能構成について説明する。図6は、本実施形態の撮影システムの一部を構成する、特殊撮影装置1aの各機能ブロック図である。
<特殊撮影装置の機能構成>
まず、図6を用いて、特殊撮影装置1aの機能構成について詳細に説明する。図6に示されているように、特殊撮影装置1aは、受付部12、撮像部13、集音部14、画像・音処理部15、切替部16、判断部17,出力部18及び記憶・読出部19を有している。これら各部は、図5に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された特殊撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。また、特殊撮影装置1aは、図5に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000を有している。
(特殊撮影装置の各機能構成)
次に、図5及び図6を用いて、特殊撮影装置1aの各機能構成について更に詳細に説明する。
特殊撮影装置1aの回動検知部10は、図5に示されているスイッチ190、ポテンショメータ193によって実現され、回動検知部10によって得られた特殊撮影装置1aの回動状態の検知情報に応じて、特殊撮影装置1aの各種処理を行う。
受付部12は、主に、図5に示されている操作部115及びCPU111の処理によって実現され、ユーザからの操作入力を受け付ける。
撮像部13は、主に、図5に示されている撮像ユニット101a、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、被写体や風景等を撮像し、出力画像データを得る。この出力画像データは、後述する全天球画像データの元になる2つの半球画像データである。
集音部14は、図5に示されているマイク108及び音処理ユニット109、並びにCPU111の処理によって実現され、特殊撮影装置1aの周囲の音を集音する。
画像・音処理部15は、主にCPU111からの命令によって実現され、撮像部13によって得られた出力画像データ、又は集音部14によって得られた音データに対して、各種処理を行なう。
切替部16は、主にCPU111からの命令によって実現され、回動部174aによる変更に基づいて、全天球撮影する第1の撮影モードと全天球撮影しない(ここではステレオ撮影する)第2の撮影モードとを切り替える。より具体的には、切替部16は、回動部174aによる回動角度の変更の度合い(割合)に応じて、全天球撮影モードとステレオ撮影モードとを切り替える。
出力部18は、主に、端子152、端子153、通信部117、アンテナ117a、及びCPU111からの命令によって実現され、撮像素子103aから得られた半球画像データ、撮像素子103bから得られた半球画像データ、並びに、撮影方向の変更内容を示す変更情報(例えば、撮影ユニット171bの回動の角度)を外部に出力する。この場合、有線通信の場合には、端子152又は端子153が用いられ、無線通信の場合には通信部117及びアンテナ117aが用いられる。
記憶・読出部19は、主に、図5に示されているCPU111の処理によって実現され、記憶部1000に各種データ(または情報)を記憶したり、記憶部1000から各種データ(または情報)を読み出したりする。
<撮影モードについて>
次に、特殊撮影装置1aの撮影モードについて説明する。特殊撮影装置1aの撮影モードとして、全天球モード、ステレオモードの2つが存在する。全天球モードは、例えば回動状態が図2(a)の場合に適した撮影モードであり、ステレオモードは、例えば回動状態が図2(b)の場合に適した撮影モードである。撮影モードは、後述する特殊撮影装置1aの回動状態から設定するようにしてもよいし、ユーザが任意に撮影モードを設定するようにしてもよい。各撮影モードにおける特殊撮影装置1aからのデータ出力形式については後述する。
<特殊撮影装置の使用状況>
次に、図7を用いて、特殊撮影装置1aの使用状況を説明する。なお、図7は、特殊撮影装置1aの使用イメージ図である。特殊撮影装置1aは、図7に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
<出力画像の例>
続いて、図8乃至図10を用いて、出力画像の例を説明する。図8乃至図10は、特殊撮影装置1aの出力画像の例を示した図である。
図8(a)は全天球モードで得られた正距円筒射影画像、図8(b)はステレオモードで得られたステレオグラム画像である。「正距円筒射影画像」は正距円筒図法により表された画像である。図9(a)はステレオモードで得られた視差画像(全天球ステレオ)、図9(b)はステレオモードで得られた視差画像(平面ステレオ)である。平面ステレオの視差画像は、全天球画像の一部の領域切り出して、視差を算出した画像である。図10(a)はステレオモードで得られたシングルフィッシュアイ画像、図10(b)はステレオモードで得られたデュアルフィッシュアイ画像である。これらの出力画像は、撮影ユニット171bの回動状態によって予め決められた撮影モードに従って選択される。ここで、各出力画像について説明する。
(正距円筒射影画像)
図11を用いて、特殊撮影装置1aで撮影された画像から正距円筒射影画像(全天球画像)が作成されるまでの処理の概略を説明する。なお、図11(a)は特殊撮影装置で撮影された半球画像(前側)、図11(b)は特殊撮影装置で撮影された半球画像(後側)、図11(c)は正距円筒射影画像を示した図である。
図11(a)に示されているように、撮像素子103aによって得られた画像は、魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図11(b)に示されているように、撮像素子103bによって得られた画像は、魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、特殊撮影装置1aの画像・音処理部15で合成され、図11(c)に示されているように、正距円筒射影画像が作成される。
(ステレオグラム画像/視差画像)
次に、ステレオグラムに関して簡単に説明する。ステレオグラムとは2つのカメラの視差を利用することで画像を立体的に見せることを目的とした2次元の画像である。また、人間が2次元の画像を3次元的に見る方法を立体視という。平面ステレオ(Planar Stereo)における視差とは、2つの画像上における投影点の横方向のずれ量であり、視差を生じている2枚の画像を横に並べたものがステレオグラム画像である。また、このときの視差の意味合いとしては、奥行き(の逆数)を示し、2つの画像の各対応位置における視差を数値として記録したものが視差画像となる。一方で、本実施形態における全天球ステレオ(Spherical Stereo)の視差とは、一般的な透視射影方式の画像とは異なるため、平面ステレオの場合の視差とは異なるものである。視差の定義に関しては、以下の文献に記載されているので詳細は述べないが、意味合いとしては撮影点からの距離(の逆数)に相当する。平面ステレオ、全天球ステレオは、ともに遠くの被写体になるほど視差は0に近づく。これに関しては、非特許文献(Shigang Li. “Binocular Spherical Stereo” IEEE Transactions on Intelligent Transportation Systems. Vol. 9, Issue. 4, 2008, pp. 589-600.)に詳細に記載されている。
ステレオグラム画像は、ネットワークI/F116、通信部117を介して、保存されたり、外部に送信されたりする。このステレオグラム画像をヘッドマウントディスプレイのような左右の眼のそれぞれに視差がある画像を投影する立体視装置に閲覧することにより、ユーザは立体画像として認識することが出来る。このような閲覧手法によって、現実と同様な臨場感を得るには、2つのカメラの物理的視差は人間の眼球の視差と同程度であることが望ましい。特殊撮影装置1aの視差が大きければ現実より自己が大きく、視差が小さければ現実より自己を小さく感じることができ、その視差は目的とする体験によって決定される。更に、ステレオグラム画像をリアルタイムで配信することによって、遠隔地からの操作や指示をより確かな形で実現することが出来る。
(シングル・デュアルフィッシュアイ画像)
次に、シングル及びデュアルフィッシュアイ画像について説明する。シングル画像、デュアルフィッシュアイ画像は、特殊撮影装置1aにおける2つの(魚眼)レンズ102a,102bを通して撮影された画像の射影方式を変更せずに、そのまま魚眼画像として出力された画像である。特殊撮影装置1aは2つの魚眼レンズを用いているので、2つの魚眼画像が生成され、左右に並べて1枚の画像として出力したものがデュアルフィッシュアイ画像である。また、シングルフィッシュアイ画像は、2つの魚眼画像のうち、どちらかに相当する魚眼画像を示している。
デュアルフィッシュアイ画像と正距円筒射影画像は、それぞれの画角が分かっていれば相互変換可能である。但し、正距円筒画像では、2つの魚眼画像間で重なっていた部分(180度を超える領域)を別々に表現することはできないため、重なり部分に対してはスティッチ処理等を行い合成された画像として生成される。そのため1枚の画像から180度を超える2つの元々のフィッシュアイ画像は復元できないが、360度全方位の画像を1枚の画像として扱う形式としては一般的である。
<カメラ座標系>
次に、カメラ座標系の説明と、回動角度による光軸に関して説明を行う。
図12は、カメラ座標系について説明する図である。ここでカメラ座標系とは特殊撮影装置のレンズ102aの焦点位置を原点とし、筐体の水平方向をX軸、鉛直方向をY軸、光軸方向をZ軸とし、カメラの姿勢により変化するローカル座標系である。
図13は、撮影ユニット171b(レンズ102b)を開いた時のカメラ座標系を説明する図である。図13(a),(b),(c)は、それぞれ図2(a),(c),(e)の開閉状態と同じ状態を示している。撮影ユニット171bを開いた場合のカメラ座標は、どちらか一方のレンズを基準として定義され、光軸はレンズ毎に定義されることとなる。図13(a)の状態は、撮影ユニット171aのレンズ102aの光軸oa1と、撮影ユニット171bのレンズ102bの光軸oa2が同じ軸上にあり、互いに入射方向が反対である。図13(b)の状態は、レンズ102aの光軸oa1と、レンズ102bの光軸oa2が平行であり、ともに入射方向が同じである。図13(c)の状態は、レンズ102aの光軸oa1と、レンズ102bの光軸oa2が異なり、ともに入射方向も異なる。
<撮影モードと出力画像の関係について>
図14は、撮影モードと出力形式の例を説明する図である。ここでは、特殊撮影装置1aの回動状態と、この回動状態の場合に選択可能な撮影モードおよび出力画像の対応関係の例を示している。以下回動角度に応じて選択可能な撮影モードと、出力画像についての説明を行う。
(a)回動角度が0度の場合
まず、回動角度が0度の場合の例を説明する。回動角度が0度の時は、図13(a)で示したように、それぞれのレンズ102a,102bの光軸が反対方向を向くこととなるので、例えば(魚眼)レンズ102a,102bの画角が180度であるとした場合には2つの(魚眼)レンズ102a,102bを通して撮影される画像において重なる部分がないということとなる。そのため2つの魚眼画像間における視差を取得することはできない。また画角が180度を超える場合は撮影対象が重なる部分は存在するがレンズ102a,102b周辺部の限定された領域となるためステレオ画像を生成する目的としては不向きである。そのため、回動状態が0度の時に選択可能な撮影モードを全天球モードに限定している。この時の出力形式としては、正距円筒射影画像が扱いやすく便利であるため、図14(1)のように正距円筒射影画像を出力形式としている。なお、180度を超える(魚眼)レンズ102a,102bを使用している場合等にそれぞれの180度を超える領域の画像データを取得する必要があるならばデュアルフィッシュアイ画像出力を選択できるようにすれば良い。もちろん出力形式は排他でなく、複数の形式で出力してもよい。
(b)回動角度が180度の場合
次に、回動角度が180度の場合の例を説明する。回動角度が180度の時は、図13(b)で示したような、2つの光軸の関係となっている。2つのレンズ102a,102bの焦点を通る直線に対し光軸oa1と光軸oa2は垂直な方向を向いており、製造上の組み付け誤差を除けば2つの光軸は平行関係にある。つまりこの状態は平行ステレオとなる配置状態であり、従ってレンズの距離分だけ視差画像が取得でき、ステレオモードで撮影するのに好適である。また、2つのレンズ102a,102b間で露出などの撮影条件を変えて撮影することにより、HDR(ハイダイナミックレンジ)画像を作成するための画像を取得することができる。ここでは2つのレンズ102a,102bを通して露出の異なる2枚の画像を同時に取得するモードを「HDRモード」と呼ぶこととする。以上より、回動状態が180度の場合はステレオモードまたはHDRモードで撮影することに適しており、どちらかを選択できるとした。またステレオモードの場合は、さらに平面ステレオもしくは全天球ステレオのデータ処理の選択肢を設けている。魚眼レンズの特性を活かした広い画角の距離データを算出したい用途においては全天球ステレオを使用し、ステレオグラム画像を作成したい場合は平面ステレオを選択すれば良い。なお、撮影モード及びデータ処理の選択は、予めユーザが操作部115を介して撮影モード及びデータ処理を指定し、特殊撮影装置のCPU111が、ユーザによって選択された撮影モード及びデータ処理に従った撮影及びデータ処理を行う。画像の出力形式は、平面ステレオの場合は図14(2)のようにステレオグラム画像、全天球ステレオの場合は図14(3)のようにシングルフィッシュアイ画像、図14(4)のようにHDRモードの場合は、正距円筒射影画像もしくはデュアルフィッシュアイ画像が選択できるようになっている。ここでHDRモード時に正距円筒射影画像と、デュアルフィッシュアイの選択を設けた理由としてはデュアルフィッシュアイ画像として出力した場合は表示のアプリケーション側で露出を調整した画像を生成することができるためである。1枚の正距円筒射影画像で出力するときは画像生成時に露出の異なる2枚の画像から高ダイナミックレンジの画像を特殊装置内で作成し、半球分の正距円筒射影画像を生成することとする。
(c)回動角度が任意の場合
次に、回動角度が任意の場合の例を説明する。本実施形態では、回動角度が任意の場合は、0度より大きく180度未満の回動角度であるものとする。本実施形態では、回動角度が135度の場合について説明を行う。回動角度が135度の場合は、それぞれの光軸は平行にならない。そのためこのままではステレオ撮影に不向きである。一般的に任意のカメラ配置のステレオ画像を、平行ステレオのステレオ画像に変換する処理は、ステレオ画像の平行化(stereo image rectification)と呼ばれる。(引用:ディジタル画像処理[改定新版] CG-ARTS協会)
ここで、回動角度が135度の場合について詳細に説明する。図15および図16は、回動角度が135度の特殊撮影装置において、平行ステレオ状態とするために撮影画像に対し視線軸の補正を行う処理を説明する図である。視線軸を補正する前の画像では、それぞれのレンズ102a,102bの光軸oa1,2がそれぞれ取得される画像の視線軸sa1,2となっている。ここで、レンズ102a,102bの焦点を結ぶ軸をX’軸とする。そしてX’軸に対してそれぞれのレンズ102a,102bの焦点から垂直となる任意の方向を視線軸sa1,sa2とする。任意の方向としたのはX’軸に対する垂直な視線軸はX’軸の周りに無数存在するためである。無数存在はするが、1つ選べばよくここではそれぞれのレンズ102a,102bの焦点を通り、X’軸と、Y軸に直行する方向を視線軸sa1,視線軸sa2とする。そして光軸oa1,光軸oa2を視線軸sa1,視線軸sa2に変換した場合に撮影される画像は画像変換することで作成される。
図17は、特殊撮影装置1aで撮影される2つの魚眼画像において視線軸の補正前と補正後の画像を示す。図17(a)は視線軸を補正する前の魚眼画像、図17(b)は視線軸を補正することで得られる魚眼画像、図17(c)は補正後の左右魚眼画像で重なる領域を示す。
図17(a),(b)に示されているように、補正後の画像では2枚の画像の中心が撮影シーンの同じ位置となっていることが分かる。補正前に円形であった画像が補正後には、いびつな形となっているのは、視線軸を変更することで撮影範囲外の部分が現れるからである。図17(c)に示されているように、2つの補正後の画像で撮影領域として重なる部分に対しては視差を算出することが可能となる。
続いて、出力形式を正距円筒射影画像とした場合について説明を行う。正距円筒射影画像は360度全天球の領域を表現できるが、回動角度が135度の場合は2つの撮影画像を合わせても360度分のデータが無いため、回動角度に応じて撮影画角が変化する。
図18は、回動角度が任意の場合に撮影される領域の概念図を示したものである。図18(a)は、回動角度が135度の時の特殊撮影装置1aの撮影領域を示しており、任意角度に固定することにより、斜線部が撮影不可能な範囲を意図的に生じさせることができる。このように撮影範囲が全天球内で任意の範囲に物理的に規制させることにより、機密保持やプライバシー保護等を直接的に行えるメリットが生じる。図18(b)は、回動角度が135度の時に画角が180度のそれぞれの(魚眼)レンズ102a,102bで撮影される領域を示したものであり、正距円筒射影画像で表現すると図18(c)のようになり、正距円筒射影画像の水平方向が回動角度に反比例して大小変化する。実際の撮影画角は、回動角度と回動軸に対するレンズ位置関係により算出することができ、回動軸からレンズ102a,102bの距離が同じならば約230度になる。これは、撮影者自身など画像として写したくない被写体があるようなシチュエーションで、広い画角の画像を撮影したいという目的に適した撮影方法である。
以上より、回動角度が任意の場合には、回動角度が0度の場合より撮影領域は狭くなるが、回動角度が180度の場合と同様にステレオモードでは、データ処理が平面ステレオ(図14(5))と全天球ステレオ(図14(6))を選択肢に加えることができる。また、回動角度が0度の場合と同様に全天球モード(図14(7))も選択肢に加えることができる。
回動角度に基づく画像の出力形式として以上であるが、記憶・読出部19は、付属情報として焦点距離や撮影条件等の一般的な撮影情報とともに回動角度と、画像の出力形式も一緒に保存する。具体的にはExifのメーカーノート等のメタデータとして保存しておく。そうすれば画像ビューアがその付属情報を使って例えばデュアルフィッシュアイ画像から正距円筒射影画像を生成して表示することや、仮想の立体球に貼り付けて視点を変えながら仮想の立体球の一部分を表示するといったことが可能となる。
以上説明したように本実施形態によれば、撮像素子の撮像方向を変更することにより、1台の特殊撮影装置1aで、全天球撮影する全天球撮影モードと全天球撮影しない(ここでは、ステレオ撮影モード)とを切り替えることが可能であるため、個別のカメラを準備する必要がないという効果を奏する。なお、この効果は、以下第2乃至第5の実施形態においても同様に奏する。
〔第2の実施形態〕
続いて、図19を用いて、本発明の第2の実施形態について説明する。なお、第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
図19は、第2の実施形態である特殊撮影装置の回動部の回動機構を示した図である。第2の実施形態の特殊撮影装置1bには、図3に示した第1の実施形態の回動機構とは回動方向が異なる回動部174bが設けられており、回動部174bの回動軸175bを中心に撮影ユニット171dが垂直方向に回動する。即ち、回動部174bは、特殊撮影装置1bの長手方向に垂直な方向を軸に撮像ユニット171dを回動させる機構である。なお、撮影ユニット171c及び撮影ユニット171dは、撮影ユニット171a及び撮影ユニット171bから回動部の相違による形状が異なっている。
図19(a)は、特殊撮影装置1bを縦方向に設置した場合の例であり、得られた画像を処理することにより3次元測距として使用可能である。この際、人間の瞳位置と無関係であるので、レンズ102a,102bを上下にレイアウトしたまま三脚座やロボットなどの機器に固定して利用することも可能である。
図19(b)は、特殊撮影装置1bを横方向に設置した場合の例であり、バーチャル映像の撮影に使用可能である。特殊撮影装置1bを横に寝かせて撮影を行う事により、人間の目と同じ位置関係での撮影が可能となる。
〔第3の実施形態〕
続いて、図20を用いて、本発明の第3の実施形態について説明する。なお、第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
図20は、第3の実施形態である特殊撮影装置1cの回動部の回動機構を示した図である。第3の実施形態の特殊撮影装置1cには、第1の実施形態に対し、回動部174dが追加され、レンズ102a及び撮像素子103aを含む正面側(前側)の撮影系を含んだユニットである撮影ユニット171eが操作部115等の配置された部材とは分離されている点が異なっている。なお、撮影ユニット171e及び撮影ユニット171fは、撮影ユニット171a及び撮影ユニット171bから回動部の相違による形状が異なっている。また、回動部174cは、回動部174aと回動部の相違による形状が一部異なっている。
図20(a)は、撮影ユニット171e、171fがお互いに接触し、2つのレンズ102a,102bを反対側に配置した場合の状態を示している。図20(b)は、回動部174cの回動軸175cを中心に撮影ユニット171eを180度回動させた場合の状態を示している。この状態は、第1の実施形態と同一の回動方向で回動させている。図20(c)は、回動部174dの回動軸175dを中心に撮影ユニット171fを180度回動させた場合の状態を示している。即ち、特殊撮影装置1cは、特殊撮影装置1cに対して、撮影ユニット171e、171fをそれぞれ独立して回動させる回動機構を備えている。
例えば、ステレオモードで撮影するときには、レンズを撮影者側に向ける場合と被写体側に向ける場合のいずれかを選択する必要が生じる場合がある。そのようなときに、回動軸175c,175dをそれぞれの撮影ユニット171e,171fに対して設けることにより、シャッターボタン115aに対して任意の方向に撮影ユニットを回動することが可能となる。また、特殊撮影装置1cを三脚ねじ穴151で三脚等に固定した場合であっても、回動する撮影ユニットを選択できるため、固定を外さずに被写体方向にレンズ102a,102bを向けてステレオモードで撮影が可能となる。また、第2の実施形態の様に、垂直な方向に撮影ユニットを開く場合も、同様に両側に選択的に回動するような構造を設けてもよい。
〔第4の実施形態〕
続いて、図21を用いて、本発明の第4の実施形態について説明する。なお、第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
図21は、第4の実施形態である特殊撮影装置1dのレンズ間距離の調整機構について示した図である。第4の実施形態の特殊撮影装置1dには、第1の実施形態に対し、撮影ユニット171a,171bの間のレンズ102a,102bの距離を調整する距離調整部178が追加となっている点が異なっている。距離調整部178は、図示を省略するがスライド機構等を設ける事により、レンズ間距離を変更できる機構を備えているものとする。
図21(a)は、回動部174aの回動軸175aを中心に撮影ユニット171bを180度回動させた場合の状態を示している。この状態の撮影ユニット171aのレンズ102aと撮影ユニット171bのレンズ102bとの距離を基準距離とする。図21(b)は、距離調整部178により撮影ユニット171bを撮影ユニット171aから遠ざけることで、2つのレンズ間距離が基準距離よりも長い状態を示している。図21(c)は、距離調整部178により撮影ユニット171bを撮影ユニット171aに近づけることで、2つのレンズ間距離が基準距離よりも短い状態を示している。
ステレオモードで撮影時のレンズ間の基準距離は、たとえば日本人男性の瞳孔間距離の平均値が約65mmであるのでその様な値を参考に設定しても良い。一方で、瞳孔間距離には個人差があるので、撮影ユニット間のレンズの距離を調整する機構を持たせることで、個人の瞳孔間距離に対応したレンズ間距離の調整が可能となる。
〔第5の実施形態〕
続いて、図22乃至図26を用いて、本発明の第5の実施形態について説明する。第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。図22は、特殊撮影装置1aを走行ロボットに搭載した場合の撮影システムの概略図である。
走行ロボット3は、本体ユニット300、走行ユニット320、回動ユニット330、支柱350で構成されている。支柱350は、本体ユニット300上に回動ユニット330を設置するための部材である。本体ユニット300、走行ユニット320、回動ユニット330は、後述のバス340に接続されている。
第1の実施形態では、回動動作をユーザが手動で行っていたが、例えば、ロボットや無線装置など、ユーザが直接、特殊撮影装置1aを操作しない又はできない場合、外部から回動状態を制御する必要が生じる。そこで、第5の実施形態では、特殊撮影装置1aの回動制御を外部から行う方法について説明する。
図23は、第5の実施形態の特殊撮影装置の回動制御を外部から行う機構を示した図である。図23(a)は、特殊撮影装置1aの底面図を示した図であり、回動部174aの回動軸175aの一部に凹状の切り欠きである凹部176が設けられている。図23(b)は、特殊撮影装置1aを外部から回動制御するための部材である回動軸制御ユニット200を示しており、回動軸制御ユニット200の先端部分に凸状の形状である凸部201が設けられている。図23(c)は、特殊撮影装置1aの回動軸175aの凹部176に、回動軸制御ユニット200の凸部201を勘合させた状態を示している。図23(d)は、図23(c)の勘合部分の拡大図を示している。図23(c)のように、特殊撮影装置1dの回動軸175aと回動軸制御ユニット200を勘合させた状態で、外部から回動軸制御ユニット200を回動させる制御を行うようにすると、特殊撮影装置1aを外部から回動制御することができる。これにより、例えば、通常時は全天球モードの撮影を行い、ステレオ撮影が必要な場合は回動によりステレオモードへの変更が外部から制御可能となる。
次に、図22、図24を用いて、ハードウェア構成について説明する。図24は、走行ロボット及びコントローラの電気的なハードウェア構成図を示している。
走行ロボット3は、本体ユニット300、電源供給ユニット310、走行ユニット320、及び回動ユニット330を備えている。これらのうち、本体ユニット300は、走行ロボットの走行を制御するユニットであり、中央制御部301、通信部302、アンテナ302a、速度検知部303から構成されている。中央制御部301は、CPU、ROM、SRAM、DRAM等で構成され、ROM内に記録されたプログラムをRAMに読出しCPUで実行する。通信部302は、走行ロボット3に設けられたアンテナ302aを介して、Wi-Fi、Bluetooth等の近距離無線通信技術によって、コントローラ5と通信を行う。また、コントローラ5以外にも、特殊撮影装置1aの通信部117と通信を行う。速度検知部303は、GPSセンサ、速度センサ等の速度を検知するセンサで構成され、走行ロボット3の移動速度を検知する。
電源供給ユニット310は、走行ロボット3の全体に必要な電源を供給するユニットである。
走行ユニット320は、走行ロボット3を走行させるユニットであり、車輪、走行モーター、走行エンコーダ、ステアリングモーター、ステアリングエンコーダ等で構成される。走行ロボットの走行制御については、既存の技術であるため、詳細な説明は省略するが、コントローラ5からユーザが走行指示を行うと、通信部302を介して走行指示を受信し、中央制御部301が走行指示に従って、走行ユニット320に走行制御信号を送信し、走行ユニット320は走行制御信号を受信して走行を行う。
回動ユニット330は、特殊撮影装置1aの回動を外部から行うユニットであり、回動制御部331、回動駆動部332から構成される。回動制御部331は、中央制御部301から回動制御情報を受信して、回動駆動部332を制御するパルスを発生する。回動駆動部332は、ステッピングモーターを備え、回動制御部331からのパルスによって回動駆動を行う。ステッピングモーターは、モーターに入力するパルス数によって回転する角度の制御が可能であり、1パルス1.8度回転するステッピングモーターの場合、25パルスで45度、50パルスで90度のように入力するパルス数によって任意の角度の回転が可能である。また、パルスの入力パターンによりモーターの回転方向の制御が可能である。ステッピングモーターと回動軸制御ユニット200は接続され、ステッピングモーターが回動することで、回動軸制御ユニット200も回動する。
次に、図24を用いて、コントローラ5について説明する。コントローラ5は、ユーザ(操作者)によって操作されることで、走行ロボットを遠隔操作するリモートコントローラである。
コントローラ5は、中央制御部501、通信部502、及び表示・受付部503で構成されている。これらのうち、中央制御部501は、CPU、ROM、SRAM、DRAM等で構成され、ROM内に記録されたプログラムをRAMに読出しCPUで実行する。通信部502は、アンテナ502aを介して、Wi-Fi、Bluetooth等の近距離無線通信技術によって、走行ロボット3と通信を行う。表示・受付部503は、タッチパネル式のディスプレイによって構成されている。
続いて、図25及び図26を用いて、特殊撮影装置1aの外部からの回動制御方法について説明する。図25は、特殊撮影装置を外部から回動するためのフローチャートである。図26は、コントローラの回動制御の設定例を示したものである。
まず、ステップS501により、中央制御部301は、コントローラ5からの回動制御信号に基づいて、特殊撮影装置1aを回動制御するかの判定を行う。コントローラ5の表示・受付部503は、回動制御をオン、オフする設定項目の表示及び選択受付を行い、回動制御の設定がオンの場合は、ステップS502に進み、設定がオフの場合は回動制御を終了する。
ステップS502では、中央制御部301は、回動制御がユーザ指定であるかの判定を行う。表示・受付部503は、ユーザ指定と自動制御の設定項目の表示及び選択受付を行い、ユーザ指定が設定されている場合はステップS507に進み、自動制御が設定されている場合はステップS503に進む。
ステップS503では、速度検知部303が、走行ロボット3の走行速度情報を取得する。走行速度情報は、走行ロボット3の速度検知部303で検知し、検知結果は中央制御部301のDRAM等の一時記憶領域に記憶している。また、走行ロボット3が稼動中は一定間隔で常時検知し、時系列で走行速度情報が記憶されている。走行速度情報取得では、現在から所定時間さかのぼった走行速度情報を取得する。所定時間の設定については後述する。
ステップS504では、中央制御部301が、ステップS503で取得された走行速度情報から所定時間、所定速度以下であるかを判定する。所定時間、所定速度の閾値の設定は、コントローラ5の設定から行う。条件を満たす場合はステップS505に進み、条件を満たさない場合はステップS506に進む。
次に、ステップS505では、走行ロボット3は、特殊撮影装置1aを全天球モードに回動制御を行う。具体的には、中央制御部301は、現在の回動角度情報と変更したい回動角度情報から必要な回動角度を算出し、回動制御部331に回動制御情報を送信する。回動制御部331は受信した回動制御情報から回動駆動部332を制御するためのパルスを発生する。回動駆動部332は、回動制御部331からのパルスによって回動駆動を行う。ここでは、走行ロボット3は、全天球モード(回動角度が0度)となるように回動角度を制御する。
ステップS506では、走行ロボット3は、特殊撮影装置1aをステレオモードに回動制御を行う。走行ロボット3は、ステップS505と同様の制御により、中央制御部301、回動制御部331、及び回動駆動部332によって、ステレオモード(回動角度が180度)となるように回動角度を制御する。
ステップS507では、走行ロボット3は、ユーザ設定での回動制御を行う。コントローラ5の表示・受付部503には、パノラマモード、全天球モード、角度設定モードの設定項目が表示され、ユーザがモードを指定することにより指定された回動制御を行う。角度設定モードでは、ユーザが任意に角度を設定することで設定した角度に回動制御する。
ステップS508では、中央制御部301が、回動制御の終了を判定する。コントローラ5の回動制御設定でオフが選択された場合に回動制御を終了する。それ以外の場合、ステップS502に戻り、回動制御を継続する。
図25で示したフローの設定例を階層的に記載すると、図26に示されるようになる。即ち、 図26に示されているように、回動制御の設定例は、「オン」と「オフ」に分けられる。更に、「オン」は、「ユーザ指定」と「自動制御」の場合に分けられる。また、「ユーザ指定」は、「パノラマモード」、「全天球モード」、及び「角度設定モード」に分けられる。一方、「自動制御」は、「時間閾値設定」と「速度閾値設定」に分けられる。
以上のような回動制御を行うことで、走行ロボット3が走行中はステレオモードとなり、停止中は全天球モードとなる。このように、走行ロボット3の走行中にはステレオモードにすることにより、ステレオ撮影から障害物との距離を取得することができ、距離情報を利用することで障害物を避けながら移動体を走行することができる。また、走行ロボットの停止中は全天球モードにすることにより、定点カメラとして360度撮影することができる。
なお、本実施形態では移動体の具体例として走行ロボットで説明を行ったが、これに限らず、自動車、ドローン、船舶等の移動体であってもかまわない。また、コントローラ5から無線による通信を示したが、これに限らず有線であってもかまわない。また、特殊撮影装置1a用いて説明を行ったが、これに限らず、例えば第3の実施形態で説明した特殊撮影装置1cを用いれば、走行方向に光軸を向けて撮影することが可能となる。
〔第6の実施形態〕
続いて、図27乃至34を用いて、本発明の第6の実施形態について説明する。なお、第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみ説明する。
<撮像素子の分光感度特性>
まず、第1の実施形態の特殊撮影装置1aで利用する撮像素子について説明する。図27は利用する撮像素子の分光感度特性の例である。撮像素子は画素毎に分光感度特性に応じて、受け取った光を電気信号に変換し、信号データとして出力することができる。なお、撮像素子から出力された画像処理等の加工されていない信号データをRAWデータと呼ぶ。
特殊撮影装置1aで用いる撮像素子は、可視領域から近赤外領域までの一部又は全域に波長感度を備えている。可視領域とはおよそ380nm〜750nmの波長範囲であり、近赤外領域とはおよそ750nm〜1400nmの波長範囲である。なお、200nm〜380nmの波長範囲である紫外領域に波長感度をもっていてもよい。
図27の分光感度特性が3つの山に分かれているのは、ベイヤー配列と呼ばれる配列で撮像素子の画素毎に取り付けられたR、G、Bのカラーフィルタの分光感度特性が異なるためである。3つの山はそれぞれ低波長側から順にベイヤー配列B、G、Rに対応する分光感度特性である。
<フィルター特性>
次に、後述の特殊撮影装置1eで利用する各種フィルターについて説明する。
(赤外カットフィルター)
まずは、図28を用いて赤外カットフィルターの特性について説明する。赤外カットフィルターは可視領域の光のみを透過する特性を持ったフィルターあり、例えば図28(a)のような特性をしている。図28(b)の実線部は、図28(a)の赤外カットフィルターを図27に示された分光感度特性の撮像素子に装着した場合の分光感度特性を示したものである。すなわち、赤外カットフィルターによって分光感度特性を変更した場合、撮像素子はR、G、Bの3つのバンドに波長感度をもつことになる。なお、図28(b)の点線部は図27と同じ撮像素子の分光感度特性を表す。また、図28(b)の実線部の3つの山は、それぞれ低波長側から順に図28(b)の点線部のB、G、Rに対応する。
(デュアルバンドフィルターa)
次に、図29を用いてデュアルバンドフィルターaについて説明する。デュアルバンドフィルターaは、可視領域と近赤外領域の一部のみの光を透過する特性を持ったフィルターであり、例えば図29(a)のような特性をしている。図29(b)の実線部は、図29(a)のデュアルバンドフィルターaを図27に示された分光感度特性の撮像素子に装着した場合の分光感度特性を示したものである。なお、図29(b)の点線部は図27と同じ撮像素子の分光感度特性を表す。また、図29(b)の実線部の4つの山のうち低波長側の3つの山は、それぞれ低波長側から順に図29(b)の点線部のB、G、Rに対応する。また、最も長波長側にある山は、図29(b)の点線部のうち、近赤外領域の一部に対応する。
(デュアルバンドフィルターb)
次に、図30を用いてデュアルバンドフィルターbの特性について説明する。デュアルバンドフィルターbは、可視領域の一部と近赤外領域のみの光を透過する特性を持ったフィルターであり、例えば図30(a)のような特性をしている。図30(b)の実線部は、図28(b)の実線部の赤外カットフィルターを装着した分光感度特性の撮像素子に、さらに図30(a)のデュアルバンドフィルターbを重ねて装着した場合の分光感度特性を示したものである。なお、図30(b)の点線部は、図28(b)の実線部の分光感度特性を表す。また、図30(b)の実線部の3つの山は、それぞれ低波長側から順に図30(b)の点線部B、G、Rに対応する。
なお、上記各フィルターに限らず、波長可変フィルター、赤外透過フィルター、単バンドフィルター、その他のフィルターを利用するようにしてもよい。
<分光感度特性変更手段>
次に、本実施形態に係る特殊撮影装置1e,1fの分光感度特性変更手段について説明する。特殊撮影装置1e,1fは、撮影ユニット101で分光感度特性を変更できる機構を備えている。以下、図31及び図32を用いて分光感度特性変更手段の例として、フィルター着脱方式、可変波長フィルター方式について説明する。
(フィルター着脱方式)
図31は、フィルター着脱方式を用いる特殊撮影装置1eの電気的なハードウェア構成を示したものである。特殊撮影装置1eは、特殊撮影装置1aに対して、更に、モーター制御ユニット106a、モーター107a,107bを備えている。また、特殊撮影装置1eは、特殊撮影装置1aの撮影ユニット101aに替えて、撮影ユニット101bを備えている。この撮影ユニット101bは、レンズ102aと撮像素子103aとの間に挿脱可能なフィルター108aを備えると共に、レンズ102bと撮像素子103bとの間に挿脱可能なフィルター108bを備える点で、撮影ユニット101aの構成とは異なる。また、モーター制御ユニット106aは、モーター107a及びモーター107bの駆動を制御する。モーター107aはフィルター108aの挿脱を制御し、モーター107bはフィルター108bの挿脱を制御する。
なお、モーター107a,107bではなく、スイッチやスライド機構等を用いて手動でフィルターを着脱するようにしてもよい。また、このとき用いるフィルターは、図28(a)の赤外カットフィルター、図29(a)のデュアルバンドフィルターa、図30(a)のデュアルバンドフィルターbだけでなく、近赤外のみを透過するフィルターや特定の単バンドのみを透過するフィルターなど、どのような波長特性のフィルターを用いるようにしてもよい。また、単一のフィルターの着脱だけでなく、複数の異なるフィルターを切り替える、又は、複数のフィルターを重ねることで装置の分光感度特性を変更するようにしてもよい。
(可変波長フィルター方式)
図32は、可変波長フィルター方式を用いる特殊撮影装置1fの電気的なハードウェア構成を示したものである。特殊撮影装置1fは、特殊撮影装置1aに対して、更に、フィルター制御ユニット106b、可変波長フィルター121a,121bを備えている。また、特殊撮影装置1fは、特殊撮影装置1aの撮影ユニット101aに替えて、撮影ユニット101cを備えている。この撮影ユニット101cは、レンズ102aと撮像素子103aとの間に可変波長フィルター121aを備えると共に、レンズ102bと撮像素子103bとの間に可変波長フィルター121bを備える点で、撮影ユニット101aの構成とは異なる。また、フィルター制御ユニット106bは、電気信号におって、可変波長フィルター121a,121bの透過する波長を可変させる制御を行う。これにより、撮像素子103a,103bが受光する光の波長の感度を個別に変更できるようにする。
なお、可変波長フィルター方式とフィルター着脱方式とを組み合わせて利用するようにしてもよい。また、図31及び図32では撮像素子103a,103bの両方で分光感度特性を変更できる機構を備えているが、これに限らず、片方だけ機構を備えていてもよい。
<分光感度特性変更タイミング>
次に、分光感度特性を変更するタイミングについて説明する。本実施形態では、装置の回動状態が変更された際、例えば全天球モードからステレオモードへの変更、ステレオモードから全天球モードへの変更を検知した際に、撮像素子103a、103bの分光感度特性を自動で変更できるようにする。また、定常的に特殊撮影装置1e,1fの回動状態を監視し回動状態に対応する撮影モードやユーザが選択した撮影モードに応じて自動で分光感度特性を変更するようにしてもよい。
<データ処理方法>
特殊撮影装置1e,1fは、分光感度特性の状態に応じて、データ処理方法を自由に変更できるようにする。以下、分光感度特性に応じたデータ処理方法の実施形態について説明する。図33に撮影モードとフィルターの組み合わせ例について示す。また、図34に特殊撮影装置1e,1fのデータ処理から得られる擬似的な分光感度特性の一例を示す。
(全天球モード)
まず、図33の(11)のパターンについて説明する。本実施形態の特殊撮影装置1e,1fの回動状態が全天球モードである場合に、図28(a)の赤外カットフィルターを装着することで撮像素子103a、103bが図28(b)の実線部の分光感度特性となるようにする。このとき、特殊撮影装置1e,1fは、両方の撮像素子103a、103bから得られる2つの半球画像から正距円筒射影画像を作成することで可視領域に分光感度特性を持つ全天球カメラとして利用することができる。
次に、図33の(12)のパターンについて説明する。特殊撮影装置1e,1fの回動状態が全天球モードである場合に、フィルターを装着せず、撮像素子103a、103bが図27の分光感度特性となるようにする。このとき、特殊撮影装置1e,1fは、両方の撮像素子103a、103bから得られる2つの半球画像から正距円筒射影画像を作成することで、図33の(11)のパターンの赤外カットフィルターが装着されている場合に比べて、近赤外領域にも分光感度を持つ暗視特性に優れた全天球カメラとして利用することができる。
(ステレオモード)
次に、図33の(15)のパターンについて説明する。特殊撮影装置1e,1fの回動状態がステレオモードである場合に、撮像素子103aには図28(a)の赤外カットフィルターを装着して図28(b)の実線部の分光感度特性となるようにし、撮像素子103bにはフィルターを装着せず図28(b)の点線部の分光感度特性となるようにする。このとき、撮像素子103bの出力するRAWデータから撮像素子103aの出力するRAWデータを特殊撮影装置1e,1f内部の画像処理ユニット104または特殊撮影装置1e,1f外部のPC等の計算機で、画像の位置あわせや減算処理等を行うことによって、図34(a)の実線部のような分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。単バンドデータとは、特定の波長帯のみのデータである。たとえば、図28(b)の実線部のデータは低波長側から順にB、G、Rバンドに分離することができる。さらに、図34(a)の実線部のデータのうち、図28(b)の実線部のRに対応する部分は、可視領域の分光感度が非常に小さく、近赤外領域の分光感度が大きいため、近赤外領域のみに分光感度をもつNIRバンドのデータとみなすことができる。すなわち、Rバンド、Gバンド、Bバンド、NIRバンド(近赤外バンド)の4バンドスペクトルカメラとして利用することができる。なお、図34(a)の点線部は図27の撮像素子の分光感度特性を表している。
次に、図33の(16)のパターンについて説明する。特殊撮影装置1e,1fの回動状態がステレオモードである場合に、撮像素子103aには図28(a)の赤外カットフィルターを装着して図28(b)の実線部の分光感度特性となるようにし、撮像素子103bには図29(a)のデュアルバンドフィルターaを装着して図29(b)の実線部の分光感度特性となるようにする。このとき、撮像素子103bの出力するRAWデータから撮像素子103aの出力するRAWデータを特殊撮影装置1e,1f内部の画像処理ユニット104または特殊撮影装置1e,1f外部のPC等の計算機で、画像の位置あわせや減算処理等を行うことによって、図34(b)の実線部のような近赤外バンドのみに分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。たとえば、図28(b)の実線部は低波長側から順にB、G、Rバンドのデータに分離することができる。さらに、図34(b)の実線部はほぼ近赤外領域のみに感度を持つため、NIRバンドデータとみなすことができる。すなわち、Rバンド、Gバンド、Bバンド、NIRバンド(近赤外バンド)の4バンドスペクトルカメラとして利用することができる。なお、図34(b)の点線部は図27の撮像素子の分光感度特性を表している。
次に、図33(17)のパターンについて説明する。特殊撮影装置1e,1fの回動状態がステレオモードである場合に、撮像素子103aには図28(a)の赤外カットフィルターを装着して図28(b)の実線部の分光感度特性となるようにし、撮像素子103bには図28(a)の赤外カットフィルターと図30(a)のデュアルバンドフィルターbを重ねて装着して、図30(b)の実線部の分光感度特性となるようにする。このとき、撮像素子103aの出力するRAWデータから撮像素子103bの出力するRAWデータを特殊撮影装置1e,1f内部の画像処理ユニット104または特殊撮影装置1e,1f外部のPC等の計算機で、画像の位置あわせや減算処理等を行うことによって、図34(c)の実線部に分光感度特性を持つデータを擬似的に作成することができる。また、波長帯ごとに別々の単バンドデータとして分離する処理を行ってもよい。たとえば、図30(b)の実線部は低波長側から順に、図28(b)の実線部と比較して波長範囲の狭いBバンド、波長範囲の狭いGバンド、波長範囲の狭いRバンドのデータに分離することができる。これらをそれぞれB1バンド、G1バンド、R1バンドと呼び、さらに、図34(c)の実線部を低波長側から順にB2バンド、G2バンド、R2バンドと呼ぶものとすると、同じように3つのバンドに分離することができる。すなわち、図30(b)の実線部と図34(c)の実線部のデータをあわせてB1バンド、G1バンド、R1バンド、B2バンド、G2バンド、B2バンドの計6バンドのマルチスペクトルカメラとして利用することができる。なお、図34(c)の点線部は図28(b)の実線部の分光感度特性を表している。
なお、波長可変フィルター、赤外透過フィルター、単バンドフィルター、その他のフィルターなど図33に表記していないフィルターを利用してもよい。その場合も全天球モード、ステレオモードの変更を検知した際にデータ処理方法を変更するようにしてよい。また、複数のフィルターを同時に使用するようにしてもよい。
<データ保存方法>
特殊撮影装置1e,1fは、撮像素子から得られるRAWデータ、画像データ、単バンドデータ、マルチスペクトル画像データ、マルチスペクトル構造化データなどを保存できるようにする。
(画像データ)
画像データは、第1の実施形態でも述べたデュアルフィッシュアイまたはシングルフィッシュアイ、正距円筒射影画像などである。なお、全天球モード、ステレオモードで保存する画像を変更できるようにする。データを保存する際、メタ情報を追加で付与するようにしてよい。このとき付与されるメタ情報は、分光感度特性変更方式の種別(フィルター着脱方式/可変波長フィルター方式)、回動状態の種別(ステレオ/全天球/中間、回動角度など)、回動方向(縦方向/横方向)、撮像素子の区別(撮像素子103a/撮像素子103b)、装着されたフィルターの有無、分光特性の種別(R/G/B/NIR(Near Infrared:近赤外線)など)、スティッチ処理の有無などである。
(マルチスペクトルデータ)
次に、マルチスペクトルデータについて説明する。本実施形態の特殊撮影装置1e,1fでは、波長帯ごとに分離したデータを、特殊撮影装置1e,1f内部の画像処理ユニット104または外部のPC等の計算機でデータを構造化した形式に変換し、メタデータを付与することで、複数の波長帯のデータを1つにまとめたXML(Extensible Markup Language)等のマルチスペクトル構造化データを作成できるようにする。なお、XML以外の構造化データを作成してもよい。また、複数の波長帯のデータを1つにまとめ、メタデータを付与したマルチスペクトル画像データを作成してもよい。なお、マルチスペクトル構造化データ、マルチスペクトル画像データに付与されるメタデータは、例えば、波長帯、輝度の飽和判定、その他の情報等を含むものとする。
<データ利用方法>
次に、特殊撮影装置1e,1fによって取得された画像データの利用方法について述べる。特殊撮影装置1e,1fによって取得したRAWデータ、画像データ、その他のデータに対し、特殊撮影装置1e,1f内部の画像処理ユニット104または特殊撮影装置1e,1f外部のPC等の計算機で演算処理を行うことで、多様なアプリケーションとして利用できる。
例えば、カラー合成画像の生成、色再現、照明の影響除去、HDR(High Dynamic Range)合成による暗視特性向上、カラーと暗視(モノクロ)の部分合成、スペクトル解析、植生診断、土壌・水質検査、食品検査、異物検査、人物検出、肌領域検出、静脈可視化、生体認証、偽札診断、表面検査等に利用することができる。
1a、1b、1c、1d、1e、1f 特殊撮影装置(撮影装置の一例)
16 切替部(切替手段の一例)
18 出力部(出力手段の一例)
103a 撮像素子(第1の撮像素子の一例)
103b 撮像素子(第2の撮像素子の一例)
106a モーター制御ユニット
106b フィルタ制御ユニット
107a、107b モーター
108a、108b フィルター
121a、121b 可変波長フィルター
171a、171c、171e 撮像ユニット(第1の撮像ユニットの一例)
171b、171d、171f 撮像ユニット(第2の撮像ユニットの一例)
174a、174b、174c、174d 回動部(変更手段の一例、検知手段の一例)
190 スイッチ(検知手段の一例)
302 通信部(通信手段の一例)
332 回動駆動部(駆動手段の一例)
特開2003−51872号公報

Claims (12)

  1. 第1の撮像素子によって得られた第1の画像と第2の撮像素子によって得られた第2の画像とを合成することにより、全天球画像を作成する撮影装置であって、
    前記第2の撮像素子の撮像方向を変更する変更手段と、
    前記変更手段による変更に基づいて、前記全天球撮影する第1の撮影モードと前記全天球撮影しない第2の撮影モードとを切り替える切替手段と、
    を有することを特徴とする撮影装置。
  2. 前記変更手段は、前記第2の撮像素子を含む撮影ユニットを前記撮影装置に対して回動させる回動機構を含むことを特徴とする請求項1に記載の撮影装置。
  3. 前記回動機構は、回動の角度を任意に固定可能な機構であることを特徴とする請求項2に記載の撮影装置。
  4. 前記回動機構は、前記撮影装置の長手方向を軸に前記撮像ユニットを回動させる機構であることを特徴とする請求項2又は3に記載の撮影装置。
  5. 前記回動機構は、前記撮影装置の長手方向に垂直な方向を軸に前記撮像ユニットを回動させる機構であることを特徴とする請求項2又は3に記載の撮影装置。
  6. 前記変更手段は、前記第1の撮像素子を含む第1の撮影ユニット及び前記第2の撮像素子を含む第2の撮影ユニットをそれぞれ独立して前記撮影装置に対して回動させる回動機構を含むことを特徴とする請求項1に記載の撮影装置。
  7. 前記変更手段は、前記撮影ユニットを前記撮影装置に対してスライドさせるスライド機構を含むことを特徴とする請求項2乃至6のいずれか一項に記載の撮影装置。
  8. 請求項1乃至7に記載の撮影装置であって、更に、
    前記変更手段によって前記第2の撮像素子の撮像方向が変更されたことを検知する検知手段を有し、
    前記検知手段による検知結果に基づいて、前記切替手段が、前記第1の撮影モードと前記第2の撮影モードとを切り替えることを特徴とする撮影装置。
  9. 前記検知手段は、前記変更手段による変更の度合いを検知し、
    前記切替手段は、前記変更の度合いに応じて、前記第1の撮影モードと前記第2の撮影モードとを切り替えることを特徴とする請求項1乃至7のいずれか一項に記載の撮影装置。
  10. 請求項1乃至9のいずれか一項に記載の撮影装置であって、更に、
    前記第1の画像及び前記第2の画像、並びに前記撮影方向の変更内容を示す変更情報を外部に出力する出力手段を有することを特徴とする撮影装置。
  11. 請求項1乃至10に記載の撮影装置と、
    前記撮影装置を設置可能で移動可能な移動体と、
    を有する撮影システムであって、
    前記移動体は、
    リモートコントローラから前記第1の撮影モード又は前記第2の撮影モードの指定を受信する通信手段と、
    前記指定に基づいて、前記撮影装置の変更手段を駆動させる駆動手段と、
    を有することを特徴とする撮影システム。
  12. 請求項1乃至10のいずれか一項に記載の撮影装置であって、更に、
    前記変更手段による変更に基づいて、前記第1の撮像素子及び前記第2の撮像素子の撮の入射光を透過させる各レンズのうち少なくとも一方の光学特性を変化させる変化手段を有することを特徴とする撮影装置。
JP2017251857A 2017-12-27 2017-12-27 撮影装置、及び撮影システム Withdrawn JP2019117330A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017251857A JP2019117330A (ja) 2017-12-27 2017-12-27 撮影装置、及び撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017251857A JP2019117330A (ja) 2017-12-27 2017-12-27 撮影装置、及び撮影システム

Publications (2)

Publication Number Publication Date
JP2019117330A true JP2019117330A (ja) 2019-07-18
JP2019117330A5 JP2019117330A5 (ja) 2020-10-22

Family

ID=67304401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251857A Withdrawn JP2019117330A (ja) 2017-12-27 2017-12-27 撮影装置、及び撮影システム

Country Status (1)

Country Link
JP (1) JP2019117330A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060489A (ja) * 2019-10-04 2021-04-15 株式会社ニコン 撮像装置
JP2021097280A (ja) * 2019-12-13 2021-06-24 株式会社リコー 撮像装置、画像生成方法、プログラム
WO2023090833A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 프리뷰 이미지를 제공하는 방법 및 그 전자 장치
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271658A (ja) * 2001-03-07 2002-09-20 Mitsubishi Electric Corp 高所撮影用itv装置
JP2005223812A (ja) * 2004-02-09 2005-08-18 Canon Inc 撮影装置
JP2013059026A (ja) * 2006-07-25 2013-03-28 Qualcomm Inc デュアルデジタルカメラセンサを備えたモバイルデバイス及び使用方法
US20170111578A1 (en) * 2015-10-15 2017-04-20 Microsoft Technology Licensing, Llc Imaging apparatus
JP2017175507A (ja) * 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017203646A1 (ja) * 2016-05-26 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271658A (ja) * 2001-03-07 2002-09-20 Mitsubishi Electric Corp 高所撮影用itv装置
JP2005223812A (ja) * 2004-02-09 2005-08-18 Canon Inc 撮影装置
JP2013059026A (ja) * 2006-07-25 2013-03-28 Qualcomm Inc デュアルデジタルカメラセンサを備えたモバイルデバイス及び使用方法
US20170111578A1 (en) * 2015-10-15 2017-04-20 Microsoft Technology Licensing, Llc Imaging apparatus
JP2017175507A (ja) * 2016-03-25 2017-09-28 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017203646A1 (ja) * 2016-05-26 2017-11-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021060489A (ja) * 2019-10-04 2021-04-15 株式会社ニコン 撮像装置
JP2021097280A (ja) * 2019-12-13 2021-06-24 株式会社リコー 撮像装置、画像生成方法、プログラム
JP7400430B2 (ja) 2019-12-13 2023-12-19 株式会社リコー 撮像装置、画像生成方法、プログラム
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
WO2023090833A1 (ko) * 2021-11-16 2023-05-25 삼성전자 주식회사 프리뷰 이미지를 제공하는 방법 및 그 전자 장치

Similar Documents

Publication Publication Date Title
US10666856B1 (en) Gaze-directed photography via augmented reality feedback
CN1965578B (zh) 数码3d/360度照相机***
US9055220B1 (en) Enabling the integration of a three hundred and sixty degree panoramic camera within a mobile device case
US9851803B2 (en) Autonomous computing and telecommunications head-up displays glasses
JP2019117330A (ja) 撮影装置、及び撮影システム
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
WO2014162324A1 (en) Spherical omnidirectional video-shooting system
JP2015149634A (ja) 画像表示装置および方法
CN102907105A (zh) 提供具有感知深度的视频的摄像机
EP2685707A1 (en) System for spherical video shooting
JP2004514951A (ja) 球面立体視撮影システム及びその方法
US20170278263A1 (en) Image processing device, image processing method, and computer-readable recording medium
JP6422584B2 (ja) 情報処理装置
JP2019082768A (ja) 画像処理装置、表示装置、画像処理方法、プログラム
WO2017112800A1 (en) Macro image stabilization method, system and devices
JP2017060078A (ja) 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム
JP2018169601A (ja) 連携装置、撮影システム、撮影方法、及びプログラム
JP5695809B1 (ja) 表示装置、表示方法およびプログラム
WO2019111227A1 (en) Imaging apparatus
KR101796539B1 (ko) 영상촬영장치 및 영상촬영방법
JP6649010B2 (ja) 情報処理装置
JP2018056889A (ja) 表示端末、表示方法、及びプログラム
CN111263037B (zh) 图像处理装置、拍摄装置、视频播放***、方法以及程序
JP7487464B2 (ja) 画像処理装置、撮像装置、動画再生システム、方法およびプログラム
JP4946914B2 (ja) カメラシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220426