JP6708790B2 - 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム - Google Patents
画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム Download PDFInfo
- Publication number
- JP6708790B2 JP6708790B2 JP2019519150A JP2019519150A JP6708790B2 JP 6708790 B2 JP6708790 B2 JP 6708790B2 JP 2019519150 A JP2019519150 A JP 2019519150A JP 2019519150 A JP2019519150 A JP 2019519150A JP 6708790 B2 JP6708790 B2 JP 6708790B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- wide
- angle
- optical system
- image group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 230000003287 optical effect Effects 0.000 claims description 209
- 238000003384 imaging method Methods 0.000 claims description 130
- 239000002131 composite material Substances 0.000 claims description 60
- 239000000203 mixture Substances 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 26
- 238000010248 power generation Methods 0.000 description 19
- 230000002194 synthesizing effect Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
<撮像装置の装置構成>
図1は、本発明に係る画像生成システム1を構成する撮像装置100及び無人航空機10を示す外観図である。
無人航空機10は、移動体の一例である。無人航空機10は、いわゆるドローンであり、コントローラ12による操作に基づき大気中を飛行する。
無人航空機10は、図1に示すように、本体フレーム14に複数の飛行用のプロペラ16を備えて構成される。
図2は、無人航空機の電気的構成を示すブロック図である。
OM(Read Only Memory)、RAM(Random Access Memory)を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ROMに格納される。
図4は、コントローラの電気的構成を示すブロック図である。
図5は、本発明に係る撮像装置100の概略構成を示すブロック図である。
図6は、撮像レンズの概略構成図である。
本実施形態の望遠光学系310は、反射望遠型の光学系で構成される。
本実施形態の広角光学系320は、パンフォーカスでの撮像が可能な固定焦点の光学系で構成される。
図9は、撮像レンズ300の駆動系の概略構成を示すブロック図である。
イメージセンサ210は、CMOS(CMOS: Complementary Metal Oxide Semiconductor)、CCD(CCD: Charged Coupled Device)等の固体撮像素子であり、特に望遠光学系310を通過した光と広角光学系320を通過した光とを選択的に受光する画素が2次元状に配列された指向性センサで構成される。
図5において、アナログ信号処理部230は、イメージセンサ210から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理を施した後、デジタル信号に変換して出力する。アナログ信号処理部230から出力されたデジタルの画像信号は、カメラマイコン236に取り込まれる。
記録部232は、各種データの記録部である。撮像された画像データは、記録部232に記録される。記録部124は、例えば、SSD(solid state drive)などの不揮発性メモリを使用したストレージデバイスで構成される。尚、本実施形態の撮像装置100は、1回の撮像で2つ画像(望遠画像と広角画像)が同時に撮像されるので、1回の撮像で2つの画像が記録される。具体的には、望遠光学系310で撮像された画像データと、広角光学系320で撮像された画像データとが記録される。
カメラ側有線通信部234は、カメラマイコン236による制御の下、無人航空機10と有線で通信し、互いに各種信号を送受信する。
カメラマイコン236は、撮像装置100の全体の動作を統括制御する制御部である。カメラマイコン236は、CPU、ROM、RAMを備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ROMに格納される。
《基本動作》
〈無人航空機の基本動作〉
無人航空機10は、コントローラ12の操作に基づいて大気中を飛行する。具体的には、コントローラ12による上昇の指示に応じて上昇し、下降の指示に応じて下降する。また、旋回の指示に応じて指示された方向に旋回する。
撮像装置100もコントローラ12の操作に基づいて撮像する。即ち、コントローラ12による撮像開始の指示に応じて、動画の撮像を開始する。また、コントローラ12による撮像終了の指示に応じて、動画の撮像を終了する。撮像開始から撮像終了が指示されるまでの間、連続的に動画が撮像される。
図14は、無人航空機10に搭載された撮像装置100により撮像される被写体及び撮像の形態の一例を示す図である。
無人航空機10は、あらかじめ定められたルートを自動で飛行する構成としてもよい。この場合、コントローラ12は不要となる。無人航空機10は、各種センサの情報に基づいて自律制御しながら、決められたルートを飛行する。なお、この場合も飛行速度は、上記条件の下で設定される。
上記実施の形態では、撮像指示に応じて動画を連続的に撮像する構成としているが、静止画を周期的に撮像する構成としてもよい。
望遠光学系310で撮像された複数の望遠画像(望遠画像群)及び広角光学系320で撮像された複数の広角画像(広角画像群)は、それぞれ記録部232に記録される。
図17は、本発明に係る画像生成システム1を示すシステム構成図であり、撮像装置100と、撮像装置100が搭載された無人航空機10と、画像生成装置2とにより構成されている。
図18は、本発明に係る画像生成装置2の実施形態を示す機能ブロック図である。
合成情報取得部2bは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置100の位置及び姿勢をそれぞれ推定する。
図19は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
図18に示す合成情報取得部2bは、広角画像群を解析し、任意の広角画像を基準にして、隣接する広角画像との重複領域に存在する複数の特徴点(SIFT特徴量等が一致する複数セットの対応点)を抽出する。
図18に示す合成情報取得部2bは、広角画像群を解析し、合成情報として広角画像群の各広角画像を撮像したときの撮像装置100の位置及び姿勢と被写体の立体形状をそれぞれ推定する。
図23は、本発明に係る画像生成方法の第1の実施形態を示すフローチャートである。
画像生成装置は、撮像装置に内蔵され、又は連結されたものでもよいし、撮像装置とは別体のものでもよい。
2 画像生成装置
2a 画像取得部
2b 合成情報取得部
2c 合成画像生成部
3 表示部
4、124、232 記録部
10 無人航空機
12 コントローラ
12a コントローラ操作部
12b コントローラ表示部
12c コントローラ側無線通信部
12d コントローラマイコン
14 本体フレーム
14A 胴部
14B アーム部
14C 脚部
16 プロペラ
20 プロペラ駆動モータ
22 モータドライバ
24 センサ部
26 機体側無線通信部
28 機体側有線通信部
30 無人航空機マイコン
30a 移動制御部
30b カメラ制御部
30c 機体側無線通信制御部
30d 機体側有線通信制御部
100 撮像装置
210 イメージセンサ
210a イメージセンサドライバ
212A 第1画素
212B 第2画素
214 フォトダイオード
216 マイクロレンズ
218 遮光マスク
230 アナログ信号処理部
234 カメラ側有線通信部
236 カメラマイコン
236a デジタル信号処理部
236b 記録制御部
236c カメラ側有線通信制御部
236d 撮像制御部
236e 絞り制御部
236f フォーカシング制御部
236g レンズ位置検出部
300 撮像レンズ
310 望遠光学系
310a 第1レンズ
310b 第1ミラー
310c 第2ミラー
310d 絞り
320 広角光学系
320a 第1レンズ
320b 第2レンズ
320c 絞り
320d 第3レンズ
320e 第4レンズ
330 共通レンズ
340 フォーカシングモータ
340a フォーカシングモータドライバ
342a フォトインタラプタ
342b MRセンサ
344 絞りモータ
344a 絞りドライバ
500 太陽光発電設備
510 太陽光発電ユニット
520 太陽電池モジュール
FP 特徴点
Im1、Im2 画像
L 光軸
L1、L2 光
M 行列
O 原点
R 矢印
S10〜S16、S100〜S150 ステップ
T1〜T10 望遠画像
W1〜W10 広角画像
X1、X2 範囲
Zt、Zt1、Zt2、Zw、Zw1、Zw2 撮像範囲
θ1、θ2 画角
Claims (17)
- 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する画像取得部と、
前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する合成情報取得部と、
前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する合成画像生成部と、
を備えた画像生成装置。 - 前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
前記合成画像生成部は、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項1に記載の画像生成装置。 - 前記合成画像生成部は、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項2に記載の画像生成装置。
- 前記合成情報取得部は、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
前記合成画像生成部は、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項1に記載の画像生成装置。 - 前記合成情報取得部は、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の3次元位置を前記被写体の立体形状として推定し、
前記合成画像生成部は、前記複数の特徴点の3次元位置を含む前記被写体の3次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項4に記載の画像生成装置。 - 前記合成情報取得部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定する請求項1から5のいずれか1項に記載の画像生成装置。
- 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系と、2次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ前記指向性センサから同時に取得する画像読出部と、を備えた撮像装置と、
請求項1から6のいずれか1項に記載の画像生成装置と、を備え、
前記画像取得部は、前記撮像装置の位置を変えながら撮像され、前記画像読出部により読み出された前記広角画像及び前記望遠画像を取得することで前記広角画像群及び前記望遠画像群を取得する画像生成システム。 - 前記撮像光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項7に記載の画像生成システム。
- 前記望遠光学系の焦点調整を行う焦点調整部を有する請求項7又は8に記載の画像生成システム。
- 前記撮像装置が搭載された移動体を更に備えた請求項7から9のいずれか1項に記載の画像生成システム。
- 前記移動体は、航空機又は人工衛星である請求項10に記載の画像生成システム。
- 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得するステップと、
前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得するステップと、
前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成するステップと、
を含む画像生成方法。 - 前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢をそれぞれ推定し、
前記画像を生成するステップは、前記撮像装置の位置及び姿勢並びに前記広角光学系と前記望遠光学系との画角比に基づいて前記望遠画像群を合成する請求項12に記載の画像生成方法。 - 前記画像を生成するステップは、前記望遠画像群の各望遠画像を、前記撮像装置の位置を起点に前記撮像装置の撮像方向に向かって前記画角比を反映させて投影することにより合成する請求項13に記載の画像生成方法。
- 前記合成情報を取得するステップは、前記取得した前記広角画像群を解析し、前記合成情報として前記広角画像群の各広角画像を撮像したときの前記撮像装置の位置及び姿勢と前記被写体の立体形状をそれぞれ推定し、
前記画像を生成するステップは、前記撮像装置の位置及び姿勢、前記被写体の立体形状及び前記広角光学系及び前記望遠光学系の焦点距離に関する情報に基づいて前記望遠画像群を合成する請求項12に記載の画像生成方法。 - 前記合成情報を取得するステップは、前記広角画像群の各広角画像の重複する領域における複数の特徴点を抽出し、前記抽出した複数の特徴点の3次元位置を前記被写体の立体形状として推定し、
前記画像を生成するステップは、前記複数の特徴点の3次元位置を含む前記被写体の3次元モデル表面に、前記望遠画像群の対応するテクスチャをマッピングして前記望遠画像群を合成した画像を生成する請求項15に記載の画像生成方法。 - 共通する光軸を有する広角光学系と望遠光学系とからなる撮像光学系を備えた撮像装置により撮像された広角画像群と、前記広角画像群と同時に撮像された望遠画像群であって、前記撮像装置の位置を変えながら被写体が撮像された前記広角画像群及び前記望遠画像群を取得する機能と、
前記取得した前記広角画像群を解析し、前記望遠画像群の合成に使用する合成情報を取得する機能と、
前記合成情報、前記広角光学系及び前記望遠光学系の焦点距離に関する情報、及び前記望遠画像群に基づいて前記望遠画像群を合成した画像を生成する機能と、
をコンピュータにより実現させる画像生成プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017097594 | 2017-05-16 | ||
JP2017097594 | 2017-05-16 | ||
PCT/JP2018/016699 WO2018211926A1 (ja) | 2017-05-16 | 2018-04-25 | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018211926A1 JPWO2018211926A1 (ja) | 2020-02-27 |
JP6708790B2 true JP6708790B2 (ja) | 2020-06-10 |
Family
ID=64274055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519150A Active JP6708790B2 (ja) | 2017-05-16 | 2018-04-25 | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11100671B2 (ja) |
EP (1) | EP3627819B1 (ja) |
JP (1) | JP6708790B2 (ja) |
CN (1) | CN110622499B (ja) |
WO (1) | WO2018211926A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7160036B2 (ja) * | 2017-08-01 | 2022-10-25 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、記録媒体、及び撮像装置 |
TWI649721B (zh) * | 2017-12-06 | 2019-02-01 | 凌通科技股份有限公司 | 無人飛行機之全景拍照方法與使用其之無人飛行機 |
JP6790038B2 (ja) * | 2018-10-03 | 2020-11-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
JP7093015B2 (ja) * | 2019-04-24 | 2022-06-29 | 日本電信電話株式会社 | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム |
JP7166225B2 (ja) * | 2019-07-08 | 2022-11-07 | ソフトバンク株式会社 | 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム |
CN110855883B (zh) * | 2019-11-05 | 2021-07-20 | 浙江大华技术股份有限公司 | 一种图像处理***、方法、装置设备及存储介质 |
CN115335768B (zh) * | 2019-12-14 | 2024-03-26 | 玻璃成像公司 | 具有可旋转反射器的成像*** |
US11964762B2 (en) * | 2020-02-11 | 2024-04-23 | Raytheon Company | Collaborative 3D mapping and surface registration |
KR102483388B1 (ko) * | 2020-07-31 | 2022-12-30 | 주식회사 쓰리아이 | 전방위 이미지 처리 방법 및 이를 수행하는 서버 |
US11875457B2 (en) * | 2022-02-22 | 2024-01-16 | Zebra Technologies Corporation | 3D product reconstruction from multiple images collected at checkout lanes |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020063711A1 (en) * | 1999-05-12 | 2002-05-30 | Imove Inc. | Camera system with high resolution image inside a wide angle view |
JP2001124991A (ja) * | 1999-10-28 | 2001-05-11 | Canon Inc | 立体撮影用光学系及びそれを用いた立体撮像装置 |
JP4463099B2 (ja) | 2004-12-28 | 2010-05-12 | 株式会社エヌ・ティ・ティ・データ | モザイク画像合成装置、モザイク画像合成プログラム及びモザイク画像合成方法 |
CN1937766A (zh) * | 2005-09-20 | 2007-03-28 | 富士能株式会社 | 监视摄像机装置及监视摄像机*** |
JP4832878B2 (ja) | 2005-12-09 | 2011-12-07 | 倉敷紡績株式会社 | 画像合成処理装置及び方法 |
JP4561707B2 (ja) * | 2006-05-24 | 2010-10-13 | カシオ計算機株式会社 | ズームレンズ及びプロジェクタ装置 |
JP4809291B2 (ja) * | 2007-06-01 | 2011-11-09 | 株式会社豊田中央研究所 | 計測装置及びプログラム |
JP5126492B2 (ja) * | 2007-10-01 | 2013-01-23 | 株式会社ニコン | ズームレンズ及びこのズームレンズを備えた光学機器 |
JP2011211260A (ja) * | 2010-03-26 | 2011-10-20 | Fujifilm Corp | パノラマ画像撮像装置及びそのパノラマ画像合成方法 |
KR101867051B1 (ko) * | 2011-12-16 | 2018-06-14 | 삼성전자주식회사 | 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체 |
JP2013190596A (ja) * | 2012-03-14 | 2013-09-26 | Olympus Imaging Corp | ズームレンズユニット及びそれを備えた撮像装置 |
JP6077967B2 (ja) * | 2013-08-27 | 2017-02-08 | 富士フイルム株式会社 | 撮像装置 |
US20150145958A1 (en) * | 2013-11-22 | 2015-05-28 | Canon Kabushiki Kaisha | Multi-lens image capturing apparatus |
JP6270489B2 (ja) * | 2014-01-09 | 2018-01-31 | キヤノン株式会社 | ズームレンズ及びそれを有する撮像装置 |
JP6165681B2 (ja) * | 2014-06-27 | 2017-07-19 | 富士フイルム株式会社 | 画像表示装置及び画像表示方法 |
JP6165680B2 (ja) * | 2014-06-27 | 2017-07-19 | 富士フイルム株式会社 | 撮像装置 |
KR102157675B1 (ko) * | 2014-07-25 | 2020-09-18 | 삼성전자주식회사 | 촬영 장치 및 그 촬영 방법 |
JP6302085B2 (ja) * | 2014-10-31 | 2018-03-28 | 富士フイルム株式会社 | 撮像装置及び対象物認識方法 |
CN107005627B (zh) * | 2014-11-21 | 2020-03-31 | 富士胶片株式会社 | 摄像装置、摄像方法及记录介质 |
EP3086283B1 (en) * | 2015-04-21 | 2019-01-16 | Hexagon Technology Center GmbH | Providing a point cloud using a surveying instrument and a camera device |
JP6570904B2 (ja) | 2015-07-10 | 2019-09-04 | 株式会社東芝 | 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム |
-
2018
- 2018-04-25 CN CN201880029332.9A patent/CN110622499B/zh active Active
- 2018-04-25 WO PCT/JP2018/016699 patent/WO2018211926A1/ja unknown
- 2018-04-25 EP EP18802909.4A patent/EP3627819B1/en active Active
- 2018-04-25 JP JP2019519150A patent/JP6708790B2/ja active Active
-
2019
- 2019-10-16 US US16/654,027 patent/US11100671B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018211926A1 (ja) | 2018-11-22 |
EP3627819B1 (en) | 2020-11-18 |
CN110622499B (zh) | 2021-02-05 |
US20200043195A1 (en) | 2020-02-06 |
EP3627819A1 (en) | 2020-03-25 |
JPWO2018211926A1 (ja) | 2020-02-27 |
US11100671B2 (en) | 2021-08-24 |
EP3627819A4 (en) | 2020-04-15 |
CN110622499A (zh) | 2019-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6708790B2 (ja) | 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム | |
JP6964772B2 (ja) | 撮像装置、無人移動体、撮像方法、システム、及びプログラム | |
CN109238240B (zh) | 一种顾及地形的无人机倾斜摄影方法及其摄影*** | |
TWI521255B (zh) | 自動對焦方法、其自動對焦裝置和其影像擷取裝置 | |
EP2597422B1 (en) | Aerial photograph image pickup method and aerial photograph image pickup apparatus | |
JP5947634B2 (ja) | 航空写真撮像方法及び航空写真撮像システム | |
US11057604B2 (en) | Image processing method and device | |
JP2018160228A (ja) | 経路生成装置、経路制御システム、及び経路生成方法 | |
EP3358480B1 (en) | Drawing creation device and drawing creation method | |
US11689808B2 (en) | Image synthesis system | |
WO2021217371A1 (zh) | 可移动平台的控制方法和装置 | |
JP7069609B2 (ja) | 作物栽培支援装置 | |
JP2024072827A (ja) | 制御装置、撮像システム及び撮像方法 | |
JP6735917B2 (ja) | 撮像装置及び画像合成装置 | |
JP6188750B2 (ja) | 画像取得装置 | |
JP4221808B2 (ja) | 3次元データ入力方法及び装置 | |
WO2021117390A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラム | |
WO2023135910A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP6803960B1 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP7318768B2 (ja) | 作物栽培支援装置 | |
US20240155223A1 (en) | Imaging control device, imaging system, imaging control method, and imaging control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6708790 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |