JP6708790B2 - 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム - Google Patents

画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム Download PDF

Info

Publication number
JP6708790B2
JP6708790B2 JP2019519150A JP2019519150A JP6708790B2 JP 6708790 B2 JP6708790 B2 JP 6708790B2 JP 2019519150 A JP2019519150 A JP 2019519150A JP 2019519150 A JP2019519150 A JP 2019519150A JP 6708790 B2 JP6708790 B2 JP 6708790B2
Authority
JP
Japan
Prior art keywords
image
wide
angle
optical system
image group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019519150A
Other languages
English (en)
Other versions
JPWO2018211926A1 (ja
Inventor
小野　修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018211926A1 publication Critical patent/JPWO2018211926A1/ja
Application granted granted Critical
Publication of JP6708790B2 publication Critical patent/JP6708790B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムに係り、特に撮像位置を移動させながら被写体を撮像した複数の画像（画像群）から合成画像を生成する技術に関する。
複数の画像を貼り合わせて、より大きな画像を得る技術があり、パノラマ合成、ステッチングなどと呼ばれている。
特許文献１に記載のモザイク画像合成装置は、移動しながら撮像された視野の狭い画像群から視野の広い１つの画像（モザイク画像）を合成し、合成に使用する情報として、各画像の撮像時のカメラの位置及び姿勢情報を取得している。
また、カメラの位置及び姿勢情報は、画像群を解析することで推定することができる。特許文献１には、Ｎ枚の画像のうちの第ｊの画像（ただし、ｊ＜Ｎ−１）に対するカメラの位置及び姿勢情報が既知の場合に、第ｊ＋１の画像についてのカメラの位置及び姿勢情報を推定する手順が記載されている。
まず、第ｊの画像と第ｊ＋１の画像とが重複している領域に存在する特徴点の対応付けを行い、適当な数の対応する特徴点の対を求める。次に、対応付けられた第ｊの画像中の特徴点と第ｊ＋１の画像中の特徴点との最小自乗誤差を最小にする、第ｊの画像の撮像時のカメラの位置及び姿勢情報に対する第ｊ＋１の画像の撮像時のカメラの位置及び姿勢情報を求める。
このようにして求めた第１の画像から第Ｎの画像の撮像時のカメラの位置及び姿勢情報に基づいて、第１の画像から第Ｎの画像を順次モザイク画像平面の画像へと変換（投影）して貼り合わせ、視野の広い１つのモザイク画像を合成する。
一方、特許文献２には、広角画像と望遠画像とを撮像し、高精細な画像を得るために、広角画像中に１枚又は複数枚の望遠画像を合成する画像合成処理装置が提案されている。ここで、広角画像と望遠画像とは、１枚ずつ撮像されたものであり、同一の場所からの撮像であれば、カメラの光軸の方向を変えて撮像した画像であってもよい。広角画像と望遠画像との光軸中心にずれが生じているような場合であっても、望遠画像を射影変換することにより、望遠画像を広角画像の光軸から撮影したように変形して両画像の被写体像を一致させることができるからである。
また、特許文献３には、1台のカメラで広角画像と望遠画像とを同時に撮像し、撮像範囲が安定している広角画像に基づいて撮像範囲の変化量を測定し、その測定結果に基づいて、望遠画像による領域マッチング等の画像処理が正常に処理可能な範囲に抑制されるように、カメラを搭載した移動体（移動方向又は移動速度）を制御し、あるいはカメラ（又は撮像画角）を制御するシステムが記載されている。
更に、カメラの撮影位置が動いていく動画中から、多数の特徴点の動きをトラッキングし、被写体の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、実用時間内に高精度な出力を出せるようになっている。
特開２００６−１８９９４０号公報 特開２００７−１６４２５８号公報 特開２０１７−２２５７４号公報
特許文献１に記載のモザイク画像合成装置により、視野の狭い画像群から視野の広い１つのモザイク画像を合成する場合、適当な数の対応する特徴点を抽出するために、視野の狭い画像群の重なり部分（画像間の重複領域）を多く必要とし、そのため多数の画像が必要になるという問題がある。尚、撮像時のカメラの位置及び姿勢情報をセンサにより取得することが可能であるが、精度の高い情報を取得するためにはセンサが高価になり、又は画像合成の精度が低下するという問題がある。
一方、ＳｆＭ手法は、多数の特徴点を複数画像の中に含む必要があるため、良好に推定を行うために、広角で撮影した画像が使われる。広角画像は、被写体のおおよその３次元構造の推定には効果的だが、各画像内の被写体像は小さく、被写体の細部が確認できないという問題がある。
特許文献２に記載の画像合成処理装置は、１枚の広角画像に１枚又は複数枚の望遠画像を組み込み（合成し）、広範囲にわたる被写体全体を精細に写すとともに高精度な画像を得るものであり、１枚の広角画像よりも広範囲の合成画像を生成するものではない。
また、特許文献３に記載のシステムは、１台のカメラで広角画像と望遠画像とを同時に撮像し、広角画像に基づいて撮像範囲の変化量を測定してカメラを搭載した移動体を制御し、あるいはカメラを制御し、これにより望遠画像による領域マッチング等の画像処理を正常に処理できるようにしているが、広角画像の情報を望遠画像の合成に利用するものではない。
本発明はこのような事情に鑑みてなされたもので、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができる画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムを提供することを目的とする。
上記目的を達成するために本発明の一の態様に係る画像生成装置は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得する画像取得部と、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する合成情報取得部と、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成する合成画像生成部と、を備える。
画像取得部により取得される広角画像群及び望遠画像群は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置の位置を変えながら被写体が撮像されたものであり、広角画像群の各画像の中心領域（望遠画像の画角に対応する領域）の画像と望遠画像群の各画像とは解像度が異なるものの、同一の画像である。
したがって、望遠画像群の合成に使用する合成情報を、広角画像群を解析することにより取得することができ、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができる。これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
本発明の他の態様に係る画像生成装置において、合成情報取得部は、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢をそれぞれ推定し、合成画像生成部は、撮像装置の位置及び姿勢並びに広角光学系と望遠光学系との画角比に基づいて望遠画像群を合成することが好ましい。
広角画像群の重複領域の画像を解析することで、広角画像群のうちのある広角画像を撮像したときの撮像装置の位置及び姿勢を基準にした、他の広角画像の撮像装置の位置及び姿勢を推定することができる。また、被写体の三次元位置が推定可能であるため、撮像装置の位置と被写体との距離を推定することができる。尚、広角光学系と望遠光学系との画角比は、広角光学系及び望遠光学系の焦点距離の比に対応した既知の値である。
広角画像群と望遠画像群とは画像中心（光軸）が同一であるため、広角画像群を解析して推定した撮像装置の位置及び姿勢は、望遠画像群にも適用でき、推定した撮像装置の位置及び姿勢と、既知の画角比とを用いて望遠画像群の各画像の合成位置を決定して合成することができる。ただし、絶対的なスケールは求めることができないため、例えば、被写体の既知の大きさ（２点間の距離等）が特定されれば、絶対的なスケールも求めることができる。
本発明の更に他の態様に係る画像生成装置において、合成画像生成部は、望遠画像群の各望遠画像を、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて投影することにより合成することが好ましい。例えば、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて所定の投影面に各望遠画像を投影（射影変換）することで、望遠画像群の各画像の張り付け位置を決定し、高精細な望遠画像の合成画像が得られる。
本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定し、合成画像生成部は、撮像装置の位置及び姿勢、被写体の立体形状及び広角光学系及び望遠光学系の焦点距離に関する情報に基づいて望遠画像群を合成することが好ましい。
本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、抽出した複数の特徴点の３次元位置を被写体の立体形状として推定し、合成画像生成部は、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成することが好ましい。これにより、被写体を任意の方向から見た精細な画像の生成が可能であり、被写体の立体形状を正確に把握することができる。
本発明の更に他の態様に係る画像生成装置において、合成情報取得部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定することが好ましい。
本発明の更に他の態様に係る画像生成システムは、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ指向性センサから同時に取得する画像読出部とを備えた撮像装置と、前述の画像生成装置と、を備え、画像取得部は、撮像装置の位置を変えながら撮像され、画像読出部により読み出された広角画像及び望遠画像を取得することで広角画像群及び広角画像群を取得する。
本発明の更に他の態様によれば、上記構成の撮像装置を使用し、撮像装置の位置を変えながら撮像を行うことで、光軸が共通な広角光学系及び望遠光学系により同時に撮像された広角画像群及び望遠画像群を取得することができる。そして、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得し、取得した合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成することができる。
本発明の更に他の態様に係る画像生成システムにおいて、撮像光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。円形の中央光学系と、中央光学系に対して同心円状に配設された環状光学系とにより撮像される２つの画像間には視差が発生せず、また、それぞれ回転対称の形状であるため、撮像光学系として好ましい。
本発明の更に他の態様に係る画像生成システムにおいて、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。
本発明の更に他の態様に係る画像生成システムにおいて、撮像装置が搭載された移動体を更に備えることが好ましい。撮像装置を適切に移動させ、視差の異なる複数の画像群を取得するためである。
本発明の更に他の態様に係る画像生成システムにおいて、移動体は、航空機又は人工衛星であることが好ましい。撮像装置が搭載された航空機又は人工衛星は、広域の被写体を撮像するのに適している。
本発明の更に他の態様に係る画像生成方法は、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得するステップと、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得するステップと、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成するステップと、を含む。
本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢をそれぞれ推定し、画像を生成するステップは、撮像装置の位置及び姿勢並びに広角光学系と望遠光学系との画角比に基づいて望遠画像群を合成することが好ましい。
本発明の更に他の態様に係る画像生成方法において、画像を生成するステップは、望遠画像群の各望遠画像を、撮像装置の位置を起点に撮像装置の撮像方向に向かって画角比を反映させて投影することにより合成することが好ましい。
本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、取得した広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置の位置及び姿勢と被写体の立体形状をそれぞれ推定し、画像を生成するステップは、撮像装置の位置及び姿勢、被写体の立体形状及び広角光学系及び望遠光学系の焦点距離に関する情報に基づいて望遠画像群を合成することが好ましい。
本発明の更に他の態様に係る画像生成方法において、合成情報を取得するステップは、広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、抽出した複数の特徴点の３次元位置を被写体の立体形状として推定し、画像を生成するステップは、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成することが好ましい。
本発明の更に他の態様に係る画像生成プログラムは、共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、広角画像群と同時に撮像された望遠画像群であって、撮像装置の位置を変えながら被写体が撮像された広角画像群及び望遠画像群を取得する機能と、取得した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する機能と、合成情報、広角光学系及び望遠光学系の焦点距離に関する情報、及び望遠画像群に基づいて望遠画像群を合成した画像を生成する機能と、をコンピュータにより実現させる。
また、本発明に係る画像生成装置の画像取得部、合成情報取得部、及び合成画像生成部の各処理部のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
本発明によれば、望遠画像群の各画像間における重複領域が少なくても望遠画像群を良好に合成することができ、これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
本発明に係る画像生成システムを構成する撮像装置及び無人航空機を示す外観図 無人航空機の電気的構成を示すブロック図 無人航空機マイコンが実現する主な機能のブロック図 コントローラの電気的構成を示すブロック図 本発明に係る撮像装置の概略構成を示すブロック図 撮像レンズの概略構成図 望遠光学系を通る光の光線軌跡を示す図 広角光学系を通る光の光線軌跡を示す図 撮像レンズの駆動系の概略構成を示すブロック図 フォーカシング機構によって駆動される望遠光学系の動作説明図 イメージセンサの概略構成図 イメージセンサの各画素が対応する光学系からの光を選択的に受光する構成の概念図 カメラマイコンが実現する主な機能のブロック図 無人航空機に搭載された撮像装置により撮像される被写体及び撮像の形態の一例を示す図 無人航空機に搭載された撮像装置により太陽光発電ユニットを撮像する様子を示す斜視図 無人航空機の高度をほぼ一定に保って飛行しながら広角画像及び望遠画像を撮像する様子を示す図 本発明に係る画像生成システムの実施形態を示すシステム構成図 本発明に係る画像合成装置の実施形態を示す機能ブロック図 ワールド座標系、ローカル座標系及び画像座標系の関係を示す図 ＳｆＭ手法を使用して合成情報取得部により推定される撮像装置の位置及び姿勢と特徴点の３次元位置とを示す図 ２枚の広角画像に基づいて２枚の望遠画像を合成する方法を説明するために用いた図 合成画像の生成の概念図 本発明に係る画像生成方法の第１の実施形態を示すフローチャート 本発明に係る画像生成方法の第２の実施形態を示すフローチャートであり、特に３次元画像を生成する処理手順を示すフローチャート
以下、添付図面に従って本発明に係る画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラムの好ましい実施形態について説明する。
本発明に係る画像生成システムは、主として撮像装置と、画像生成装置と、無人航空機とにより構成されている。
［撮像装置の第１実施形態］
＜撮像装置の装置構成＞
図１は、本発明に係る画像生成システム１を構成する撮像装置１００及び無人航空機１０を示す外観図である。
《無人航空機》
無人航空機１０は、移動体の一例である。無人航空機１０は、いわゆるドローンであり、コントローラ１２による操作に基づき大気中を飛行する。
〈無人航空機の外観構成〉
無人航空機１０は、図１に示すように、本体フレーム１４に複数の飛行用のプロペラ１６を備えて構成される。
本体フレーム１４は、胴部１４Ａと、胴部１４Ａから放射状に延びる４つのアーム部１４Ｂ（図１では２つのみ図示している）と、胴部１４Ａから放射状に延びる４つの脚部１４Ｃ（図１では２つのみ図示している）と、を備えて構成される。
プロペラ１６は、各アーム部１４Ｂの先端に備えられる。したがって、本実施の形態の無人航空機１０には、４つのプロペラ１６が備えられる（図１では２つのみ図示している）。
無人航空機１０は、プロペラ１６を回転させることによって生じる浮力によって大気中を飛行する。無人航空機１０は、各プロペラ１６の回転を個別に制御することにより、上昇、下降、方向転換等が行われる。また、各プロペラ１６の回転を個別に制御することにより、飛行速度が制御される。
〈無人航空機の電気的構成〉
図２は、無人航空機の電気的構成を示すブロック図である。
無人航空機１０は、プロペラ駆動モータ２０と、モータドライバ２２と、センサ部２４と、機体側無線通信部２６と、機体側有線通信部２８と、無人航空機マイコン（マイコン：マイクロコンピュータ）３０と、を備える。
プロペラ駆動モータ２０は、プロペラ１６の回転駆動手段である。プロペラ駆動モータ２０はプロペラ１６ごとに備えられる。各プロペラ駆動モータ２０の駆動は、モータドライバ２２で個別に制御される。各モータドライバ２２は、無人航空機マイコン３０からの指令に応じて、プロペラ駆動モータ２０の駆動を制御する。
センサ部２４は、機体の飛行状態を検出する。センサ部２４は、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ、高度センサ、ＧＰＳ（Global Positioning System）等の各種センサ類を備えて構成される。センサ部２４は、各種センサで検出された機体の飛行状態の情報を無人航空機マイコン３０に出力する。
機体側無線通信部２６は、無人航空機マイコン３０による制御の下、コントローラ１２と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ１２が操作された場合、その操作に基づく制御信号がコントローラ１２から無人航空機１０に向けて送信される。機体側無線通信部２６は、コントローラ１２から送信された制御信号を受信し、無人航空機１０に出力する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（例えば、無線ＬＡＮ（Local Area Network）規格による通信方式、特定省電力無線規格による通信方式、携帯電話網を利用した通信方式等）が使用される。
機体側有線通信部２８は、無人航空機マイコン３０による制御の下、撮像装置１００と有線で通信し、互いに各種信号を送受信する。通信の方式は、特に限定されるものではなく、一般的に用いられる通信方式（例えば、ＵＳＢ（Universal Serial Bus）規格による通信方式等）が使用される。
無人航空機マイコン３０は、無人航空機１０の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ（Central Processing Unit／中央処理装置）、Ｒ
ＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。
図３は、無人航空機マイコンが実現する主な機能のブロック図である。
無人航空機マイコン３０は、所定のプログラムを実行することにより、移動制御部３０ａ、カメラ制御部３０ｂ、機体側無線通信制御部３０ｃ、機体側有線通信制御部３０ｄ等として機能する。
移動制御部３０ａは、モータドライバ２２を介して各プロペラ駆動モータ２０の駆動を制御することにより、無人航空機１０の飛行（移動）を制御する。移動制御部３０ａは、コントローラ１２から送信される制御信号、及び、センサ部２４から出力される機体の飛行状態の情報に基づいて、各プロペラ駆動モータ２０の駆動を制御し、無人航空機１０の飛行を制御する。例えば、コントローラ１２から上昇が指示された場合は、機体が上昇するように、各プロペラ駆動モータ２０の駆動を制御する。また、コントローラ１２から下降が指示された場合は、機体が下降するように、各プロペラ駆動モータ２０の駆動を制御する。更に、コントローラ１２から旋回が指示された場合には、指示された方向に機体が旋回するように、各プロペラ駆動モータ２０の駆動を制御する。また、撮像中には、機体が所定の速度で飛行するように、各プロペラ駆動モータ２０の駆動を制御する。
カメラ制御部３０ｂは、コントローラ１２から送信される制御信号に基づいて、撮像装置１００を制御する。例えば、コントローラ１２からの撮像開始指示に応じて、撮像装置１００に撮像を開始させる。また、コントローラ１２からの撮像終了指示に応じて、撮像装置１００に撮像を終了させる。
機体側無線通信制御部３０ｃは、機体側無線通信部２６を介して、コントローラ１２との間の通信を制御する。
機体側有線通信制御部３０ｄは、機体側有線通信部２８を介して、撮像装置１００との間の通信を制御する。
〈コントローラの構成〉
図４は、コントローラの電気的構成を示すブロック図である。
コントローラ１２は、コントローラ操作部１２ａと、コントローラ表示部１２ｂと、コントローラ側無線通信部１２ｃと、コントローラマイコン１２ｄと、を備える。
コントローラ操作部１２ａは、無人航空機１０及び撮像装置１００を操作する各種操作部材を備えて構成される。無人航空機１０を操作する操作部材には、例えば、無人航空機１０の上昇、下降を指示する操作部材、無人航空機１０の旋回を指示する操作部材等が含まれる。撮像装置１００を操作する操作部材には、例えば、撮像開始、撮像終了を指示する操作部材等が含まれる。
コントローラ表示部１２ｂは、例えば、ＬＣＤ（Liquid Crystal Display／液晶ディスプレイ）で構成される。コントローラ表示部１２ｂには、例えば、無人航空機１０の飛行状態の情報が表示される。
コントローラ側無線通信部１２ｃは、コントローラマイコン１２ｄによる制御の下、無人航空機１０と無線で通信し、互いに各種信号を送受信する。
コントローラマイコン１２ｄは、コントローラ１２の全体の動作を統括制御する制御部である。無人航空機マイコン３０は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。例えば、コントローラ操作部１２ａが操作されると、その操作に応じた制御信号を生成し、コントローラ側無線通信部１２ｃを介して無人航空機１０に送信する。また、例えば、コントローラ側無線通信部１２ｃを介して無人航空機１０から飛行状態の情報を取得し、コントローラ表示部１２ｂに表示する。プログラムは、ＲＯＭに格納される。
《撮像装置》
図５は、本発明に係る撮像装置１００の概略構成を示すブロック図である。
撮像装置１００は、単眼カメラで構成される。撮像装置１００は、雲台を介して、無人航空機１０に搭載される。雲台によって撮像方向が調整される。
撮像装置１００は、コントローラ１２からの撮像の指示に応じて動画を連続的に撮像する。尚、撮像装置１００は、動画に限らず、静止画を順次撮像してもよい。
図５に示すように撮像装置１００は、撮像レンズ３００、イメージセンサ２１０、アナログ信号処理部２３０、記録部２３２、カメラ側有線通信部２３４、及びカメラマイコン２３６等を備えて構成される。
〈撮像レンズ〉
図６は、撮像レンズの概略構成図である。
図６に示すように撮像光学系として機能する撮像レンズ３００は、画角の異なる２つの画像を同時に撮像するため、２つの光学系（望遠光学系３１０及び広角光学系３２０）を有する。望遠光学系３１０及び広角光学系３２０は、同軸上で撮像するため、同じ光軸Ｌを有する。特に、本実施形態の撮像レンズ３００は、望遠光学系３１０及び広角光学系３２０が同心円状に配置される。また、望遠光学系３１０及び広角光学系３２０は、画角の異なる画像を撮像するため、異なる焦点距離を有する。本例の広角光学系３２０は、円形の中央光学系であり、望遠光学系３１０は中央光学系に対して同心円状に配設された環状光学系である。
〈望遠光学系〉
本実施形態の望遠光学系３１０は、反射望遠型の光学系で構成される。
図６に示すように、望遠光学系３１０は、被写体側から順に第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ、絞り３１０ｄ、共通レンズ３３０が配置されて構成される。第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄは、それぞれリング形状を有する。
第１ミラー３１０ｂは、反射望遠光学系の主鏡を構成し、第１レンズ３１０ａを通過した光を第２ミラー３１０ｃに向けて反射する。
第２ミラー３１０ｃは、反射望遠光学系の副鏡を構成し、第１ミラー３１０ｂで反射された光を共通レンズ３３０に向けて反射する。
絞り３１０ｄは、第２ミラー３１０ｃから共通レンズ３３０に入射する光の量を調整する。絞り３１０ｄは、複数枚の絞り羽根をリング状に組み合わせて構成され、その外径を拡縮させて光量を調整する。
共通レンズ３３０は、最終のレンズである。望遠光学系３１０に入射した光は共通レンズ３３０から出射して、イメージセンサ２１０に入射する。共通レンズ３３０は、広角光学系３２０と共用される。
図７は、望遠光学系を通る光の光線軌跡を示す図である。
同図に示すように、光は、第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ、絞り３１０ｄ、共通レンズ３３０を介してイメージセンサ２１０に入射する。
〈広角光学系〉
本実施形態の広角光学系３２０は、パンフォーカスでの撮像が可能な固定焦点の光学系で構成される。
図６に示すように広角光学系３２０は、被写体側から順に第１レンズ３２０ａ、第２レンズ３２０ｂ、絞り３２０ｃ、第３レンズ３２０ｄ、第４レンズ３２０ｅ、共通レンズ３３０が配置される。各光学要素は、望遠光学系３１０の内周部同軸上に配置される。広角光学系３２０は固定焦点であるため、各光学要素（共通レンズ３３０を含む）は、一定位置に固定して配置される。絞り３２０ｃも固定絞りで構成され、一定位置に固定して配置される。
図８は、広角光学系３２０を通る光の光線軌跡を示す図である。
光は、第１レンズ３２０ａ、第２レンズ３２０ｂ、絞り３２０ｃ、第３レンズ３２０ｄ、第４レンズ３２０ｅ、共通レンズ３３０を介してイメージセンサ２１０に入射する。
〈撮像レンズの駆動系〉
図９は、撮像レンズ３００の駆動系の概略構成を示すブロック図である。
上記のように、広角光学系３２０は、固定焦点、固定絞りであるため、駆動系は、望遠光学系３１０についてのみ備えられる。
望遠光学系３１０は、望遠光学系３１０の焦点調整を行う焦点調整部として機能するフォーカシング機構を備える。
フォーカシング機構は、望遠光学系３１０の一部の光学要素を軸に沿って前後移動させることにより、フォーカス位置を変位させる。
図１０は、フォーカシング機構によって駆動される望遠光学系の動作説明図である。同図（Ａ）は、可動部を被写体側に移動させた状態を示し、同図（Ｂ）は、可動部を像面側に移動させた状態を示している。
図９及び図１０に示すように、フォーカシング機構は、望遠光学系３１０を構成する第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄを一体的に移動させて、フォーカス位置を変位させる。
フォーカシング機構は、第１レンズ３１０ａ、第１ミラー３１０ｂ、第２ミラー３１０ｃ及び絞り３１０ｄ（以下、「可動部」という。）を軸に沿って一体的に移動自在に支持する支持部（不図示）と、その望遠光学系可動部を軸に沿って移動させるフォーカシングモータ３４０と、を備えて構成される。フォーカシングモータ３４０は、例えばリニアモータで構成される。カメラマイコン２３６は、フォーカシングモータドライバ３４０ａを介してフォーカシングモータ３４０の駆動を制御する。
望遠光学系３１０は、可動部の位置を検出する手段として、フォトインタラプタ３４２ａ及びＭＲセンサ（ＭＲセンサ：Magneto Resistive Sensor／磁気抵抗効果素子）３４２ｂを備える。フォトインタラプタ３４２ａは、可動部が、あらかじめ定められた原点に位置したことを検出する。ＭＲセンサ３４２ｂは、可動部の変位量を検出するフォトインタラプタ３４２ａによって可動部が原点に位置したことを検出し、原点からの変位量をＭＲセンサ３４２ｂで検出することにより、原点に対する可動部の位置を検出できる。フォトインタラプタ３４２ａ及びＭＲセンサ３４２ｂの検出結果は、カメラマイコン２３６に出力される。カメラマイコン２３６は、フォトインタラプタ３４２ａ及びＭＲセンサ３４２ｂの出力に基づいて可動部の位置を検出する。
絞り３１０ｄは、絞りモータ３４４に駆動される。カメラマイコン２３６は、絞りドライバ３４４ａを介して絞りモータ３４４の駆動を制御する。
〈イメージセンサ〉
イメージセンサ２１０は、ＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子であり、特に望遠光学系３１０を通過した光と広角光学系３２０を通過した光とを選択的に受光する画素が２次元状に配列された指向性センサで構成される。
図１１は、イメージセンサ２１０の概略構成図である。
同図に示すように、イメージセンサ２１０は、２次元状に配列された光電変換素子により構成された複数の画素を有し、望遠光学系３１０を通過した光を選択的に受光する第１画素２１２Ａ及び広角光学系３２０を通過した光を選択的に受光する第２画素２１２Ｂを有する。第１画素２１２Ａ及び第２画素２１２Ｂは、同一平面上に交互に配置される。
図１２は、イメージセンサ２１０の各画素が対応する光学系からの光を選択的に受光する構成の概念図である。
同図に示すように、各画素は、フォトダイオード２１４と、マイクロレンズ２１６と、遮光マスク２１８と、を備えて構成される。マイクロレンズ２１６及び遮光マスク２１８は、望遠光学系３１０及び広角光学系３２０を通過する光束をそれぞれ瞳分割して選択的にイメージセンサ２１０の各画素に入射させる瞳分割手段として機能する。
即ち、マイクロレンズ２１６は、フォトダイオード２１４の前方に配置される。マイクロレンズ２１６は、望遠光学系３１０及び広角光学系３２０の瞳像をフォトダイオード２１４に結像させる。
遮光マスク２１８は、マイクロレンズ２１６とフォトダイオード２１４との間に配置される。遮光マスク２１８は、マイクロレンズ２１６を通過した光の一部を遮光する。第１画素２１２Ａの遮光マスク２１８は、広角光学系３２０を通過した光Ｌ２を遮光する形状を有する。具体的には、円形状を有する。第２画素２１２Ｂの遮光マスク２１８は、望遠光学系３１０を通過した光Ｌ１を遮光する形状を有する。具体的には、リング形状を有する。
以上の構成により、第１画素２１２Ａは、望遠光学系３１０を通過した光Ｌ１を選択的に受光し、第２画素２１２Ｂは広角光学系３２０を通過した光Ｌ２を選択的に受光する。したがって、第１画素２１２Ａの画像信号を取得することにより、望遠光学系３１０を介して得られる画像Ｉｍ１の画像信号を同時に取得でき、第２画素２１２Ｂの画像信号を取得することにより、広角光学系３２０を介して得られる画像Ｉｍ２の画像信号を取得できる。
本実施形態の撮像レンズ３００は、望遠光学系３１０の光軸と広角光学系３２０の光軸とが同一であるため、望遠光学系３１０の画像Ｉｍ１は、広角光学系３２０の画像Ｉｍ２の中央部分を拡大した画像となり、かつ視差のない画像となる。
尚、カラー画像を取得する場合には、第１画素２１２Ａ及び第２画素２１２Ｂにカラーフィルタが備えられる。カラーフィルタは規定の配列で配置される。例えば、赤、緑、青の３色からなるカラーフィルタがベイヤ配列で配置される。これにより、カラー画像を取得できる。
〈アナログ信号処理部〉
図５において、アナログ信号処理部２３０は、イメージセンサ２１０から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理を施した後、デジタル信号に変換して出力する。アナログ信号処理部２３０から出力されたデジタルの画像信号は、カメラマイコン２３６に取り込まれる。
〈記録部〉
記録部２３２は、各種データの記録部である。撮像された画像データは、記録部２３２に記録される。記録部１２４は、例えば、ＳＳＤ（solid state drive）などの不揮発性メモリを使用したストレージデバイスで構成される。尚、本実施形態の撮像装置１００は、１回の撮像で２つ画像（望遠画像と広角画像）が同時に撮像されるので、１回の撮像で２つの画像が記録される。具体的には、望遠光学系３１０で撮像された画像データと、広角光学系３２０で撮像された画像データとが記録される。
〈カメラ側有線通信部〉
カメラ側有線通信部２３４は、カメラマイコン２３６による制御の下、無人航空機１０と有線で通信し、互いに各種信号を送受信する。
〈カメラマイコン〉
カメラマイコン２３６は、撮像装置１００の全体の動作を統括制御する制御部である。カメラマイコン２３６は、ＣＰＵ、ＲＯＭ、ＲＡＭを備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。
図１３は、カメラマイコン２３６が実現する主な機能のブロック図である。
同図に示すように、カメラマイコン２３６は、所定のプログラムを実行することにより、デジタル信号処理部２３６ａ、記録制御部２３６ｂ、カメラ側有線通信制御部２３６ｃ、撮像制御部２３６ｄ、絞り制御部２３６ｅ、フォーカシング制御部２３６ｆ、レンズ位置検出部２３６ｇ等として機能する。
デジタル信号処理部２３６ａは、アナログ信号処理部２３０から出力されたアナログの画像信号を取り込み、所定の信号処理（例えば、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等）を施して画像データを生成する。この際、デジタル信号処理部２３６ａは、イメージセンサ２１０の第１画素２１２Ａの画像信号に基づいて、望遠画像データを生成し、第２画素２１２Ｂの画像信号に基づいて、広角画像データを生成する。
記録制御部２３６ｂは、記録部２３２へのデータの読み書きを制御する。撮像により得られた画像データ（望遠画像データ及び広角画像データ）は、記録制御部２３６ｂにより記録部２３２に記録される。尚、動画（又は複数の静止画）として撮像された望遠画像群及び広角画像群のうち、同時に撮像された望遠画像と広角画像の各画像データは、互いに関連付けて記憶される。
カメラ側有線通信制御部２３６ｃは、カメラ側有線通信部２３４を介して、無人航空機１０との間の通信を制御する。
イメージセンサ２１０から広角画像及び望遠画像を示す画像信号を同時に取得する画像読出部として機能する撮像制御部２３６ｄは、イメージセンサドライバ２１０ａを介してイメージセンサ２１０の駆動を制御する。より具体的には、所定のフレームレートで動画が撮像されるように、イメージセンサ２１０の駆動を制御する。
絞り制御部２３６ｅは、絞りドライバ３４４ａを介して絞りモータ３４４の駆動を制御する。より具体的には、絞り３１０ｄが、所定の絞り値（開口量）となるように、絞りモータ３４４の駆動を制御する。絞り値は、イメージセンサ２１０から得られる信号に基づいて設定される。即ち、適正露出となるように、絞り値が設定される。
フォーカシング制御部２３６ｆは、フォーカシングモータドライバ３４０ａを介してフォーカシングモータ３４０の駆動を制御する。
［撮像装置の作用］
《基本動作》
〈無人航空機の基本動作〉
無人航空機１０は、コントローラ１２の操作に基づいて大気中を飛行する。具体的には、コントローラ１２による上昇の指示に応じて上昇し、下降の指示に応じて下降する。また、旋回の指示に応じて指示された方向に旋回する。
〈撮像装置の基本動作〉
撮像装置１００もコントローラ１２の操作に基づいて撮像する。即ち、コントローラ１２による撮像開始の指示に応じて、動画の撮像を開始する。また、コントローラ１２による撮像終了の指示に応じて、動画の撮像を終了する。撮像開始から撮像終了が指示されるまでの間、連続的に動画が撮像される。
ここで、本実施形態の撮像装置１００は、望遠光学系３１０による望遠画像と、広角光学系３２０による広角画像とを同軸上で同時に撮像する。両者は、視差のない動画とであり、それぞれ記録部２３２に記録される。
〈撮像中の無人航空機の動作〉
図１４は、無人航空機１０に搭載された撮像装置１００により撮像される被写体及び撮像の形態の一例を示す図である。
図１４に示す被写体は、地上に設置された太陽光発電設備５００であり、無人航空機１０に搭載された撮像装置１００は、無人航空機１０により上空から矢印Ｒで示す飛行ルートに沿って移動させられ、太陽光発電設備５００を撮像する。即ち、無人航空機１０は、撮像装置１００が太陽光発電設備５００を走査するように飛行し、太陽光発電設備５００を上空から撮像する。
太陽光発電設備５００は、複数の太陽光発電ユニット５１０を規則的に配列して構成されている。一つの太陽光発電ユニット５１０は、複数枚の太陽電池モジュール５２０を規則的に配列して構成される。図１４に示す例では、４５枚の太陽電池モジュール５２０を縦横５×９で配列して、一つの太陽光発電ユニット５１０を構成している。
図１５は、無人航空機１０に搭載された撮像装置１００により太陽光発電ユニット５１０を撮像する様子を示す斜視図であり、Ｚtは、望遠光学系３１０を介して撮像される１回の撮像範囲を示し、Ｚwは、広角光学系３２０を介して撮像される１回の撮像範囲を示している。
図１５に示す例では、望遠光学系３１０を介して撮像される１回の撮像範囲Ｚtは、１つの太陽光発電ユニット５１０の短手方向の長さをカバーできる範囲であり、広角光学系３２０を介して撮像される１回の撮像範囲Ｚwは、３つの太陽光発電ユニット５１０の短手方向の長さをカバーできる範囲である。
図１６に示すように無人航空機１０は、撮像中に高度をほぼ一定に保って飛行（ホバリングを含む）する。したがって、撮像中の操作は旋回のみである。
移動制御部３０ａとして機能する無人航空機マイコン３０は、センサ部２４からの出力に基づいて、各プロペラ駆動モータ２０の駆動を制御し、高度をほぼ一定に保って飛行する。
いま、一定の高度から真下に向けて撮像する場合を考える。この場合、望遠光学系３１０によって画角θ１の範囲Ｘ１が撮像され、広角光学系３２０によって画角θ２の範囲Ｘ２が撮像される。
後述する望遠画像の合成に使用される望遠画像群は、隣接する望遠画像の間で範囲Ｘ１が重複する必要がなく（隙間が生じない程度に範囲Ｘ１が重複することが好ましく）、広角画像群は、隣接する広角画像の間で範囲Ｘ２が十分に重複する必要がある。
〈無人航空機の飛行〉
無人航空機１０は、あらかじめ定められたルートを自動で飛行する構成としてもよい。この場合、コントローラ１２は不要となる。無人航空機１０は、各種センサの情報に基づいて自律制御しながら、決められたルートを飛行する。なお、この場合も飛行速度は、上記条件の下で設定される。
〈撮像装置による撮像〉
上記実施の形態では、撮像指示に応じて動画を連続的に撮像する構成としているが、静止画を周期的に撮像する構成としてもよい。
《撮像された画像の合成処理》
望遠光学系３１０で撮像された複数の望遠画像（望遠画像群）及び広角光学系３２０で撮像された複数の広角画像（広角画像群）は、それぞれ記録部２３２に記録される。
これらの望遠画像群及び広角画像群に対する後述の画像合成処理は、撮像装置１００に内蔵され、又は連結された画像生成装置により行ってもよいし、撮像装置１００とは別体（専用の画像生成装置）により行ってもよい。
撮像装置１００で画像合成処理を行う場合は、カメラマイコン２３６に上記処理を行う機能を実現させる。この場合、カメラマイコン２３６は、画像生成プログラムを実行することにより、画像生成装置として機能し、上記処理を実行する。
専用の画像生成装置で行う場合は、例えば、コンピュータを画像生成装置として機能させる。即ち、コンピュータに画像生成プログラムを実行させて、上記画像生成装置として機能させる。
［画像生成システム］
図１７は、本発明に係る画像生成システム１を示すシステム構成図であり、撮像装置１００と、撮像装置１００が搭載された無人航空機１０と、画像生成装置２とにより構成されている。
図１７において、画像生成装置２は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を備えコンピュータにより構成され、撮像装置１００により撮像された望遠画像群及び広角画像群を取得し、取得した望遠画像群及び広角画像群に基づいて望遠画像群を合成した画像を生成する。
また、コンピュータは、ＣＰＵがＲＯＭに格納された画像生成プログラムを実行することにより、画像生成装置２として機能する。
＜画像合成装置＞
図１８は、本発明に係る画像生成装置２の実施形態を示す機能ブロック図である。
図１８に示すように画像生成装置２は、主として画像取得部２ａ、合成情報取得部２ｂ及び合成画像生成部２ｃから構成されている。
画像取得部２ａは、撮像装置１００により撮像された広角画像群及び望遠画像群を取得する。画像取得部２ａによる広角画像群及び望遠画像群の取得は、撮像装置１００又は無人航空機１０との間で無線通信を行い、撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに取得し、又は撮像終了後に無線通信又は有線通信、若しくは記録媒体を経由して、広角画像群及び望遠画像群をまとめて取得するようにしてもよい。
合成情報取得部２ｂは、画像取得部２ａにより取得された広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する。
《合成情報の取得の第１の実施形態》
合成情報取得部２ｂは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢をそれぞれ推定する。
具体的には、撮像装置１００の位置を移動させながら撮像された広角画像群の各広角画像が重複する領域（重複領域）に含まれる特徴点を抽出し、各広角画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を特定する。
広角画像間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって各広角画像間の重複領域は大きいことが好ましい。図１６に示す例では、各広角画像間の重複領域は画像全体の５０％を超えている。
そして、各広角画像間の対応する複数の特徴点に基づいて撮像装置１００の位置及び姿勢をそれぞれ推定する。
〈撮像装置の位置及び姿勢の推定〉
図１９は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
被写体（本例では、太陽光発電ユニット５１０を含む太陽光発電設備）の３次元位置（３次元形状）は、原点Ｏを有するＸＹＺの直交３軸のワールド座標系によって表すことができる。
一方、ｘｙｚの直交３軸のローカル座標系（以下、「カメラ座標系」という）は、ワールド座標系とは独立に移動する撮像装置１００（カメラ）の座標系である。カメラ座標系の原点は、カメラの焦点位置であり、光軸方向がｚ軸である。
画像座標系は、イメージセンサ２１０に結像される画像上の点の２次元位置を表す座標系である。画像上の特徴点ｃの座標(u,v)は、イメージセンサ２１０の基準位置からの画素数と画素ピッチとにより求めることができる。
画像座標系における特徴点ｃの座標(u,v)、ワールド座標系における特徴点ｃの座標（Ｘ，Ｙ，Ｚ）、カメラ内部パラメータを表す行列Ｃ，及びカメラ外部パラメータを表す行列Ｍとの関係は、次式により表すことができる。
カメラ内部パラメータは、焦点距離、イメージセンサの画像サイズ、画素ピッチ、画像中心位置等を含み、事前にキャリブレーションにより取得できるものである。
カメラ外部パラメータを表す行列Ｍは、ワールド座標からカメラ座標への座標変換行列であり、撮像装置１００の位置を表す並進ベクトル、及び撮像装置１００の姿勢を表す回転行列を含む。
撮像装置１００の位置及び姿勢は、カメラ外部パラメータを表す行列Ｍを求めることで推定することができる。複数の画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、Structure from Motion(ＳｆＭ)手法が知られている。
ＳｆＭ手法は、撮像装置１００（カメラ）を移動させながら撮像される画像上の複数の特徴点を追跡し、これらの特徴点の対応関係を利用してカメラの位置及び姿勢と特徴点の３次元位置とを算出するものである。但し、ＳｆＭ手法では、カメラと被写体との間の相対的な位置及びカメラ間の相対的な位置及び姿勢は推定可能であるが、画像のみではスケール情報が得られないため、絶対的な位置を推定することができない。そこで、３次元位置が既知のマーカ等の絶対的な位置情報、あるいは被写体のサイズ情報（例えば、太陽電池モジュール５２０のサイズ情報）等を付与することで、絶対的な位置を推定することができる。
合成情報取得部２ｂ（図１８）は、入力する広角画像群に対して上記ＳｆＭ手法を使用し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢をそれぞれ推定する。
尚、合成情報取得部２ｂは、ＳｆＭ手法を使用する場合に限らず、例えば、Simultaneous Localization And Mapping（ＳＬＡＭ）手法を使用してもよい。ＳＬＡＭ手法では、入力画像の変化に応じて動的に更新される特徴点のセットを用いて、特徴点の位置とカメラの位置及び姿勢とを同時に推定することができる。ＳＬＡＭ手法の基本的な原理は、非特許文献（Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a ingle Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。
図２０は、ＳｆＭ手法を使用して合成情報取得部２ｂにより推定される撮像装置１００の位置及び姿勢と特徴点ＦＰの３次元位置とを示す図である。
図２０において、ＸＹＺ座標系はワールド座標系であり、本例ではＸ−Ｙ平面が地平面を表し、Ｚ軸が高さ方向（高度）を表している。また、撮像装置１００の各撮像位置から地平面に向う線分は、撮像装置１００の撮像（光軸）方向を示している。
図１８に戻って、合成画像生成部２ｃは、合成情報取得部２ｂにより取得された合成情報（本例では、撮像装置１００の位置及び姿勢等）、広角光学系３２０及び望遠光学系３１０の焦点距離に関する情報（本例では、両光学系の画角比（焦点距離の比））、及び画像取得部２ａにより取得された望遠画像群に基づいて望遠画像群を合成した画像を生成する。
図２１は、２枚の広角画像に基づいて２枚の望遠画像を合成する方法を示す図である。
図２１において、隣接する２枚の広角画像の撮像範囲Ｚw1、Ｚw2は、互いに画像全体の５０％を超えて重複しており、合成情報取得部２ｂでは、２枚の広角画間の重複領域において、それぞれ対応する複数の特徴点に基づいて合成情報(２枚の広角画像をそれぞれ撮像したときの撮像装置１００の位置及び姿勢）を取得している。合成画像生成部２ｃは、２枚の広角画像をそれぞれ撮像したときの撮像装置１００の位置を起点に、撮像装置の１００の姿勢に対応した撮像方向に向かって２枚の広角画像を、例えば、地表面を投影面として投影することで、それぞれ対応する特徴点同士が重なるように位置合わせした広角画像の合成が可能である。
しかしながら、本発明では広角画像の代わりに、それぞれ広角画像と同時に撮像された望遠画像を使用し、図１６に示す望遠光学系３１０の画角θ１と広角光学系３２０の画角θ２との画角比（θ１／θ２）を反映させて投影することで、２つの望遠画像を適切に合成する。望遠光学系３１０と広角光学系３２０とは、［数１］式に示したカメラ内部パラメータを表す行列Ｃ（特に焦点距離）が異なるため、広角画像群を解析して取得した合成情報を使用し、かつカメラ内部パラメータの違いを反映させて変換することで、２つの望遠画像を適切に合成することができる。
合成される２枚の望遠画像の撮像範囲Ｚt1、Ｚt2は、両画像間の重複部分が少ないことが好ましい。隣接する望遠画像間の重複部分は、望遠画像を合成するための合成情報を取得するために使用しないからであり、また、望遠画像間の重複部分を少なくすることで、望遠画像群の撮影枚数を大幅に低減することができるからである。
尚、望遠画像間で重複部分がなくても、望遠画像群を合成することができる。この場合、合成された画像には隙間が生じるが、その隙間は再度撮像することで埋めることができる。また、隙間を広角画像で埋めることもできる。この場合、隙間部分の画像の解像度は低下する。
図２２は、合成画像の生成の概念図である。
図２２は、撮像装置１００がほぼ直線状に飛行して場合に得られる１０枚の広角画像Ｗ１〜Ｗ１０と、これらの広角画像Ｗ１〜Ｗ１０から取得した合成情報に基づいて合成された１０枚の望遠画像Ｔ１〜Ｔ１０とを示している。尚、図２２では、広角画像Ｗ１〜Ｗ１０と望遠画像Ｔ１〜Ｔ１０との撮像範囲を示すために、望遠画像Ｔ１〜Ｔ１０は小さく図示されているが、望遠画像Ｔ１〜Ｔ１０の画像サイズは大きい（解像度は高い）ものである。
図１８に戻って、合成画像生成部２ｃにより望遠画像群が合成された合成画像は、表示部３に出力することにより表示することができ、また、記録部４に出力することにより保存することができる。
表示部３は、画像生成装置２を含むコンピュータのモニタを使用することでき、記録部４は、コンピュータのハードディスク、コンピュータ内の不揮発性メモリ、コンピュータに着脱されるメモリカード等の外部メモリを使用することができる。
ユーザは、表示部３に表示される合成画像により被写体（本例では、太陽光発電設備５００）を観察することができ、特に太陽光発電設備５００を構成する太陽光発電ユニット５１０、更には太陽光発電ユニット５１０を構成する太陽電池モジュール５２０を詳細に観察する場合（太陽光発電ユニット５１０の汚れ又は欠陥等を観察する場合）、合成画像を拡大させて表示部３に表示させることができる。このように合成画像を拡大して表示する場合であっても、合成画像は望遠画像を合成して生成されているため、解像度が高く、詳細に観察することができる。
また、画像生成装置２は、撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに取得し、望遠画像を順次合成した合成画像を表示部３にリアルタイムに表示させることができる。この場合、ユーザは、表示部３にリアルタイムに表示される合成画像により望遠画像が合成されない領域（撮り残した領域）を確認することができ、撮り残した領域を撮像するために無人航空機１０を遠隔操作することができる。
《合成情報の取得の第２の実施形態》
図１８に示す合成情報取得部２ｂは、広角画像群を解析し、任意の広角画像を基準にして、隣接する広角画像との重複領域に存在する複数の特徴点（SIFT特徴量等が一致する複数セットの対応点）を抽出する。
次に、基準の広角画像の複数の特徴点に対して、隣接する広角画像の対応する特徴点を一致させる、隣接する広角画像の射影変換行列を算出する。
特徴量が一致する特徴点の数（セット数）は、２つの画像のうちの一方の画像を幾何変換するために使用する変換パラメータの算出に必要な数以上検出する必要がある。
射影変換式は、次式の通りである。
射影変換の変換パラメータは、［数２］式中のａ、ｂ、ｓ、ｃ、ｄ、ｔ、ｐ、ｑの８個のパラメータを指す。また、(x,y)、(X,Y)は、それぞれ射影変換前後の座標値を示す。
従って、複数セットの特徴点の座標値をそれぞれ［数２］式に代入した８つの連立方程式を立て、８つの連立方程式を解くことにより、射影変換に使用する８個の変換パラメータを算出することができる。
このようにして、広角画像群に基づいて次々と射影変換の変換パラメータを算出する。
合成画像生成部２ｃは、合成情報取得部２ｂにより取得された射影変換の変換パラメータを、望遠画像群の合成に使用する合成情報として入力し、基準の広角画像に対応する望遠画像に対して他の望遠画像群を、入力した合成情報と広角光学系及び望遠光学系の焦点距離に関する情報とに基づいて射影変換し、望遠画像群を合成する。
《合成情報の取得の第３の実施形態》
図１８に示す合成情報取得部２ｂは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置１００の位置及び姿勢と被写体の立体形状をそれぞれ推定する。
この場合の広角画像群は、立体形状を有する被写体に対して、撮像されない領域がないように種々の角度から撮像されたものである。
被写体の立体形状は、各広角画像間で特徴が一致する複数の特徴点の３次元位置の集合であり、複数の特徴点の３次元位置を適宜補間し、密度の高い３次元位置を取得することが好ましい。
合成画像生成部２ｃは、複数の特徴点の３次元位置を含む被写体の３次元モデル表面に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像を生成する。即ち、合成画像生成部２ｃは、合成情報取得部２ｂが取得した複数の特徴点を含む３次元位置に基づいて被写体の形状を認識するためのポリゴンメッシュを生成し、生成したポリゴンメッシュに、望遠画像群の中からポリゴンメッシュに対応するテクスチャを抽出してマッピングする。
望遠画像群を合成した３次元の合成画像（３次元画像）は、記録部４に記録される。合成画像生成部２ｃ又は図示しない画像再生部は、記録部４に記録された３次元画像を読み出し、視点位置及び投影面等を指定して３次元画像を投影することで、任意視点から見た被写体の画像を表示部３に表示させることができる。
［画像生成方法］
図２３は、本発明に係る画像生成方法の第１の実施形態を示すフローチャートである。
図２３において、画像生成装置２の画像取得部２ａは、撮像装置１００により撮像された広角画像群及び望遠画像群をそれぞれ入力する（ステップＳ１０、Ｓ１２）。撮像装置１００により１回の撮像が行われる毎に、同時に撮像された広角望遠画像と広角画像とをリアルタイムに入力してもよいし、撮像終了後に広角画像群及び望遠画像群をまとめて入力してもよい。
合成情報取得部２ｂは、入力した広角画像群を解析し、望遠画像群の合成に使用する合成情報を取得する（ステップＳ１４）。
合成画像生成部２ｃは、ステップＳ１４で取得した合成情報、撮像装置１００の広角光学系及び望遠光学系の焦点距離に関する情報（画角比）、及び望遠画像群に基づいて望遠画像群を合成した合成画像を生成する（ステップＳ１６）。合成画像の生成は、例えば、望遠画像群の各望遠画像を、撮像装置１００の位置を起点に撮像装置１００の撮像方向に向かって広角光学系と望遠光学系との画角比を反映させて投影することにより合成する。
尚、広角画像群の各画像の中心領域（望遠画像の画角に対応する領域）の画像と望遠画像群の各画像とは解像度が異なるものの、同一の画像であるため、広角画像群を解析して得た合成情報を、望遠画像群の合成に使用することができる。
これにより、望遠画像群の撮影枚数を大幅に低減することができ、かつ高解像度の合成画像を生成することができる。
図２４は、本発明に係る画像生成方法の第２の実施形態を示すフローチャートであり、特に３次元画像を生成する合成情報取得部２ｂ及び合成画像生成部２ｃの処理手順に関して示している。
図２４において、合成情報取得部２ｂは、広角画像群の各広角画像が重複する領域（重複領域）に含まれる特徴点を抽出し（ステップＳ１００）、各広角画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を決定する（ステップＳ１１０）。
続いて、合成情報取得部２ｂは、各広角画像間の対応する複数の特徴点に基づいて撮像装置１００の位置及び姿勢を推定する（ステップＳ１２０）。また、撮像装置１００の位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定する（ステップＳ１２０）。
撮像装置１００の位置及び姿勢の推定は、複数の特徴点の画像座標に基づいて［数１］式に示したカメラ外部パラメータを表す行列Ｍを求めることで推定することができる。尚、複数の画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、ＳｆＭ手法及びＳＬＡＭ手法が知られている。
ステップＳ１３０で推定した特徴点の３次元位置を含む被写体の立体形状を推定し（ステップＳ１４０）、推定した被写体の立体形状（３次元モデル表面）に、望遠画像群の対応するテクスチャをマッピングして望遠画像群を合成した画像（３次元画像）を生成する（ステップＳ１５０）。
［その他］
画像生成装置は、撮像装置に内蔵され、又は連結されたものでもよいし、撮像装置とは別体のものでもよい。
また、無人航空機には、撮像装置が搭載されるが、撮像装置は、無人航空機に限らず、有人航空機、人工衛星、自動車、ロボット、その他の移動体に搭載してもよい。また、撮像装置を雲台等に搭載し、カメラを旋回させながら撮像し、更に人間が手で持って撮像装置の位置を変えながら撮像するようにしてもよい。この場合、移動体は不要である。
コンピュータを画像生成装置として機能させるためにコンピュータにインストールされる画像生成プログラム、その画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）も本発明の一態様である。
また、広角画像群を解析して取得される合成情報は、本実施形態に限定されず、広角画像間の重複領域に含まれる複数の特徴点に基づいて取得される、望遠画像群の合成に使用する合成情報であれば、如何なるものでもよい。また、合成される望遠画像は、２次元画像でもよいし、３次元画像でもよい。
更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ 画像生成システム
２ 画像生成装置
２ａ 画像取得部
２ｂ 合成情報取得部
２ｃ 合成画像生成部
３ 表示部
４、１２４、２３２ 記録部
１０ 無人航空機
１２ コントローラ
１２ａ コントローラ操作部
１２ｂ コントローラ表示部
１２ｃ コントローラ側無線通信部
１２ｄ コントローラマイコン
１４ 本体フレーム
１４Ａ 胴部
１４Ｂ アーム部
１４Ｃ 脚部
１６ プロペラ
２０ プロペラ駆動モータ
２２ モータドライバ
２４ センサ部
２６ 機体側無線通信部
２８ 機体側有線通信部
３０ 無人航空機マイコン
３０ａ 移動制御部
３０ｂ カメラ制御部
３０ｃ 機体側無線通信制御部
３０ｄ 機体側有線通信制御部
１００ 撮像装置
２１０ イメージセンサ
２１０ａ イメージセンサドライバ
２１２Ａ 第１画素
２１２Ｂ 第２画素
２１４ フォトダイオード
２１６ マイクロレンズ
２１８ 遮光マスク
２３０ アナログ信号処理部
２３４ カメラ側有線通信部
２３６ カメラマイコン
２３６ａ デジタル信号処理部
２３６ｂ 記録制御部
２３６ｃ カメラ側有線通信制御部
２３６ｄ 撮像制御部
２３６ｅ 絞り制御部
２３６ｆ フォーカシング制御部
２３６ｇ レンズ位置検出部
３００ 撮像レンズ
３１０ 望遠光学系
３１０ａ 第１レンズ
３１０ｂ 第１ミラー
３１０ｃ 第２ミラー
３１０ｄ 絞り
３２０ 広角光学系
３２０ａ 第１レンズ
３２０ｂ 第２レンズ
３２０ｃ 絞り
３２０ｄ 第３レンズ
３２０ｅ 第４レンズ
３３０ 共通レンズ
３４０ フォーカシングモータ
３４０ａ フォーカシングモータドライバ
３４２ａ フォトインタラプタ
３４２ｂ ＭＲセンサ
３４４ 絞りモータ
３４４ａ 絞りドライバ
５００ 太陽光発電設備
５１０ 太陽光発電ユニット
５２０ 太陽電池モジュール
ＦＰ 特徴点
Ｉｍ１、Ｉｍ２ 画像
Ｌ 光軸
Ｌ１、Ｌ２ 光
Ｍ 行列
Ｏ 原点
Ｒ 矢印
Ｓ１０〜Ｓ１６、Ｓ１００〜Ｓ１５０ ステップ
Ｔ１〜Ｔ１０ 望遠画像
Ｗ１〜Ｗ１０ 広角画像
Ｘ１、Ｘ２ 範囲
Ｚt、Ｚt1、Ｚt2、Ｚw、Ｚw1、Ｚw2 撮像範囲
θ１、θ２ 画角

Claims (17)

  1. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する画像取得部と、
    前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する合成情報取得部と、
    前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する合成画像生成部と、
    を備えた画像生成装置。
  2. 前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
    前記合成画像生成部は、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項１に記載の画像生成装置。
  3. 前記合成画像生成部は、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項２に記載の画像生成装置。
  4. 前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
    前記合成画像生成部は、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項１に記載の画像生成装置。
  5. 前記合成情報取得部は、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の３次元位置を前記被写体の立体形状として推定し、
    前記合成画像生成部は、前記複数の特徴点の３次元位置を含む前記被写体の３次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項４に記載の画像生成装置。
  6. 前記合成情報取得部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定する請求項１から５のいずれか１項に記載の画像生成装置。
  7. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ前記指向性センサから同時に取得する画像読出部と、を備えた撮像装置と、
    請求項１から６のいずれか１項に記載の画像生成装置と、を備え、
    前記画像取得部は、前記撮像装置の位置を変えながら撮像され、前記画像読出部により読み出された前記広角画像及び前記望遠画像を取得することで前記広角画像群及び前記望遠画像群を取得する画像生成システム。
  8. 前記撮像光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項７に記載の画像生成システム。
  9. 前記望遠光学系の焦点調整を行う焦点調整部を有する請求項７又は８に記載の画像生成システム。
  10. 前記撮像装置が搭載された移動体を更に備えた請求項７から９のいずれか１項に記載の画像生成システム。
  11. 前記移動体は、航空機又は人工衛星である請求項１０に記載の画像生成システム。
  12. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得するステップと、
    前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得するステップと、
    前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成するステップと、
    を含む画像生成方法。
  13. 前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
    前記画像を生成するステップは、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項１２に記載の画像生成方法。
  14. 前記画像を生成するステップは、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項１３に記載の画像生成方法。
  15. 前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
    前記画像を生成するステップは、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項１２に記載の画像生成方法。
  16. 前記合成情報を取得するステップは、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の３次元位置を前記被写体の立体形状として推定し、
    前記画像を生成するステップは、前記複数の特徴点の３次元位置を含む前記被写体の３次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項１５に記載の画像生成方法。
  17. 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する機能と、
    前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する機能と、
    前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する機能と、
    をコンピュータにより実現させる画像生成プログラム。
JP2019519150A 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム Active JP6708790B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017097594 2017-05-16
JP2017097594 2017-05-16
PCT/JP2018/016699 WO2018211926A1 (ja) 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム

Publications (2)

Publication Number Publication Date
JPWO2018211926A1 JPWO2018211926A1 (ja) 2020-02-27
JP6708790B2 true JP6708790B2 (ja) 2020-06-10

Family

ID=64274055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519150A Active JP6708790B2 (ja) 2017-05-16 2018-04-25 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム

Country Status (5)

Country Link
US (1) US11100671B2 (ja)
EP (1) EP3627819B1 (ja)
JP (1) JP6708790B2 (ja)
CN (1) CN110622499B (ja)
WO (1) WO2018211926A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7160036B2 (ja) * 2017-08-01 2022-10-25 ソニーグループ株式会社 情報処理装置、情報処理方法、記録媒体、及び撮像装置
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
JP6790038B2 (ja) * 2018-10-03 2020-11-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP7166225B2 (ja) * 2019-07-08 2022-11-07 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理***、方法、装置设备及存储介质
CN115335768B (zh) * 2019-12-14 2024-03-26 玻璃成像公司 具有可旋转反射器的成像***
US11964762B2 (en) * 2020-02-11 2024-04-23 Raytheon Company Collaborative 3D mapping and surface registration
KR102483388B1 (ko) * 2020-07-31 2022-12-30 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버
US11875457B2 (en) * 2022-02-22 2024-01-16 Zebra Technologies Corporation 3D product reconstruction from multiple images collected at checkout lanes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063711A1 (en) * 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
JP2001124991A (ja) * 1999-10-28 2001-05-11 Canon Inc 立体撮影用光学系及びそれを用いた立体撮像装置
JP4463099B2 (ja) 2004-12-28 2010-05-12 株式会社エヌ・ティ・ティ・データ モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法
CN1937766A (zh) * 2005-09-20 2007-03-28 富士能株式会社 监视摄像机装置及监视摄像机***
JP4832878B2 (ja) 2005-12-09 2011-12-07 倉敷紡績株式会社 画像合成処理装置及び方法
JP4561707B2 (ja) * 2006-05-24 2010-10-13 カシオ計算機株式会社 ズームレンズ及びプロジェクタ装置
JP4809291B2 (ja) * 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
JP5126492B2 (ja) * 2007-10-01 2013-01-23 株式会社ニコン ズームレンズ及びこのズームレンズを備えた光学機器
JP2011211260A (ja) * 2010-03-26 2011-10-20 Fujifilm Corp パノラマ画像撮像装置及びそのパノラマ画像合成方法
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
JP2013190596A (ja) * 2012-03-14 2013-09-26 Olympus Imaging Corp ズームレンズユニット及びそれを備えた撮像装置
JP6077967B2 (ja) * 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
US20150145958A1 (en) * 2013-11-22 2015-05-28 Canon Kabushiki Kaisha Multi-lens image capturing apparatus
JP6270489B2 (ja) * 2014-01-09 2018-01-31 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
JP6165681B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 画像表示装置及び画像表示方法
JP6165680B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 撮像装置
KR102157675B1 (ko) * 2014-07-25 2020-09-18 삼성전자주식회사 촬영 장치 및 그 촬영 방법
JP6302085B2 (ja) * 2014-10-31 2018-03-28 富士フイルム株式会社 撮像装置及び対象物認識方法
CN107005627B (zh) * 2014-11-21 2020-03-31 富士胶片株式会社 摄像装置、摄像方法及记录介质
EP3086283B1 (en) * 2015-04-21 2019-01-16 Hexagon Technology Center GmbH Providing a point cloud using a surveying instrument and a camera device
JP6570904B2 (ja) 2015-07-10 2019-09-04 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム

Also Published As

Publication number Publication date
WO2018211926A1 (ja) 2018-11-22
EP3627819B1 (en) 2020-11-18
CN110622499B (zh) 2021-02-05
US20200043195A1 (en) 2020-02-06
EP3627819A1 (en) 2020-03-25
JPWO2018211926A1 (ja) 2020-02-27
US11100671B2 (en) 2021-08-24
EP3627819A4 (en) 2020-04-15
CN110622499A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP6964772B2 (ja) 撮像装置、無人移動体、撮像方法、システム、及びプログラム
CN109238240B (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影***
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
EP2597422B1 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5947634B2 (ja) 航空写真撮像方法及び航空写真撮像システム
US11057604B2 (en) Image processing method and device
JP2018160228A (ja) 経路生成装置、経路制御システム、及び経路生成方法
EP3358480B1 (en) Drawing creation device and drawing creation method
US11689808B2 (en) Image synthesis system
WO2021217371A1 (zh) 可移动平台的控制方法和装置
JP7069609B2 (ja) 作物栽培支援装置
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法
JP6735917B2 (ja) 撮像装置及び画像合成装置
JP6188750B2 (ja) 画像取得装置
JP4221808B2 (ja) ３次元データ入力方法及び装置
WO2021117390A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2023135910A1 (ja) 撮像装置、撮像方法、及びプログラム
JP6803960B1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP7318768B2 (ja) 作物栽培支援装置
US20240155223A1 (en) Imaging control device, imaging system, imaging control method, and imaging control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200521

R150 Certificate of patent or registration of utility model

Ref document number: 6708790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250