JP2019028560A - Mobile platform, image composition method, program and recording medium - Google Patents
Mobile platform, image composition method, program and recording medium Download PDFInfo
- Publication number
- JP2019028560A JP2019028560A JP2017144719A JP2017144719A JP2019028560A JP 2019028560 A JP2019028560 A JP 2019028560A JP 2017144719 A JP2017144719 A JP 2017144719A JP 2017144719 A JP2017144719 A JP 2017144719A JP 2019028560 A JP2019028560 A JP 2019028560A
- Authority
- JP
- Japan
- Prior art keywords
- image
- aerial
- imaging
- control unit
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims description 41
- 239000002131 composite material Substances 0.000 claims abstract description 163
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000003384 imaging method Methods 0.000 claims description 265
- 238000003860 storage Methods 0.000 claims description 66
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 abstract description 78
- 238000004891 communication Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本開示は、飛行体により空撮された空撮画像を合成するモバイルプラットフォーム、画像合成方法、プログラム、及び記録媒体に関する。 The present disclosure relates to a mobile platform, an image composition method, a program, and a recording medium for composing an aerial image captured by an aircraft.
従来、空撮画像を合成して、広範囲を表現した合成画像を生成することが知られている。例えば、空中写真又は衛星画像が、撮影方向による歪みを解消したうえで一定水平面上に投影されて、正射画像（オルソ画像）が生成される。複数のオルソ画像が合成又は接合されることで、広大な地域を示す１枚のモザイク画像が得られる（特許文献１参照）。 Conventionally, it is known to synthesize aerial images and generate a synthesized image representing a wide range. For example, an aerial photograph or a satellite image is projected on a certain horizontal plane after distortion caused by the photographing direction is eliminated, and an orthographic image (ortho image) is generated. By synthesizing or joining a plurality of ortho images, one mosaic image showing a vast area can be obtained (see Patent Document 1).
特許文献１に記載された装置では、合成対象の画像の枚数が膨大である場合、画像の合成のために必要なメモリの容量が大きくなる。そのため、画像の合成を行う装置の性能によっては、一度に多数の画像を合成する場合も逐次的に多数の画像を合成する場合も、必要なメモリの容量の確保が困難となり、メモリリークが発生し易くなる。また、一度に多数の画像を合成する場合、最適化処理（例えば位置合わせ、画質合わせ）を十分に行えず、処理精度が劣化することがある。また、逐次的に画像の合成を行う場合、画像合成の計算を逐次行う必要があり、一度に（同時に）画像を合成する場合と比較すると、計算効率が低くなる。 In the apparatus described in Patent Document 1, when the number of images to be combined is enormous, the memory capacity required for combining images increases. For this reason, depending on the performance of the image synthesizing device, it may be difficult to secure the necessary memory capacity, even when synthesizing a large number of images at the same time, or when synthesizing a large number of images sequentially. It becomes easy to do. Further, when a large number of images are combined at one time, optimization processing (for example, alignment and image quality adjustment) cannot be performed sufficiently, and processing accuracy may deteriorate. In addition, when sequentially synthesizing images, it is necessary to sequentially perform image synthesis calculations, and the calculation efficiency is lower than when synthesizing images at once (simultaneously).
一態様において、モバイルプラットフォームは、飛行体により空撮された空撮画像を合成するモバイルプラットフォームであって、空撮画像の合成に関する処理を行う処理部を備え、処理部は、異なる画像範囲を有する複数の第１の空撮画像を取得し、複数の第１の空撮画像の画像範囲を包囲する第１の領域を取得し、第１の領域を複数の部分領域に分割し、部分領域毎に、複数の第１の空撮画像を合成して、第１の合成画像を生成する。 In one aspect, the mobile platform is a mobile platform that synthesizes aerial images captured by the flying object, and includes a processing unit that performs processing related to synthesis of the aerial images, and the processing units have different image ranges. A plurality of first aerial images are obtained, a first region surrounding the image range of the plurality of first aerial images is obtained, the first region is divided into a plurality of partial regions, and each partial region is obtained. In addition, a plurality of first aerial images are combined to generate a first combined image.
処理部は、複数の第１の空撮画像のうち、画像範囲が同一の部分領域と重複する複数の第２の空撮画像を合成して、第１の合成画像を生成してよい。 The processing unit may generate a first combined image by combining a plurality of second aerial images that overlap with a partial region having the same image range among the plurality of first aerial images.
処理部は、複数の第２の空撮画像のうちの一部を、第１の合成画像を生成するための第２の空撮画像から除外し、第１の合成画像を生成してよい。 The processing unit may exclude a part of the plurality of second aerial images from the second aerial image for generating the first synthesized image, and generate the first synthesized image.
処理部は、第２の空撮画像における部分領域と重複する第１の部分を切り出し、切り出された複数の第２の空撮画像における複数の第１の部分を合成して、第１の合成画像を生成してよい。 The processing unit cuts out a first portion that overlaps the partial region in the second aerial image, combines the plurality of first portions in the plurality of second aerial images that have been cut out, and performs the first synthesis An image may be generated.
処理部は、部分領域毎に得られた複数の第１の合成画像を合成して、第２の合成画像を生成してよい。 The processing unit may generate a second composite image by combining a plurality of first composite images obtained for each partial region.
第１の領域における隣り合う複数の部分領域は、重複する部分を有してよい。 A plurality of adjacent partial regions in the first region may have overlapping portions.
第１の合成画像の生成に用いられる第１の記憶部と、生成された第１の合成画像が記録される第２の記憶部と、を更に備えてよい。処理部は、第１の記憶部において第１の部分領域における第１の合成画像を生成し、生成された第１の合成画像を第２の記憶部に送り、第１の合成画像を第２の記憶部に送った後、第１の記憶部において第２の部分領域における第１の合成画像を生成してよい。 You may further provide the 1st memory | storage part used for the production | generation of a 1st synthesized image, and the 2nd memory | storage part by which the produced | generated 1st synthesized image is recorded. The processing unit generates a first composite image in the first partial region in the first storage unit, sends the generated first composite image to the second storage unit, and sends the first composite image to the second storage unit. Then, the first synthesized image in the second partial area may be generated in the first storage unit.
モバイルプラットフォームは、飛行体でよい。飛行体は、撮像部を備えてよい。処理部は、飛行体の飛行を制御し、飛行体の飛行中に、撮像部に空撮させて第１の空撮画像を取得し、第１の合成画像を生成してよい。 The mobile platform may be a flying object. The flying object may include an imaging unit. The processing unit may control the flight of the flying object, cause the imaging unit to take an aerial image during flight of the flying object, obtain a first aerial image, and generate a first synthesized image.
処理部は、飛行体が飛行するための飛行パラメータ及び撮像部により空撮するための撮像パラメータを取得し、飛行パラメータ及び撮像パラメータに基づいて、画像範囲を決定してよい。 The processing unit may acquire a flight parameter for flying the flying object and an imaging parameter for aerial shooting by the imaging unit, and determine an image range based on the flight parameter and the imaging parameter.
処理部は、飛行パラメータ及び撮像パラメータの一部を取得し、飛行パラメータ及び撮像パラメータの一部に基づいて、飛行パラメータ及び撮像パラメータの他の一部を算出してよい。 The processing unit may acquire a part of the flight parameter and the imaging parameter, and calculate another part of the flight parameter and the imaging parameter based on the part of the flight parameter and the imaging parameter.
処理部は、飛行パラメータ及び撮像パラメータの少なくとも一部を、飛行パラメータ及び撮像パラメータを入力する入力装置から取得してよい。 The processing unit may acquire at least part of the flight parameter and the imaging parameter from an input device that inputs the flight parameter and the imaging parameter.
複数の部分領域は、第３の部分領域を含んでよい。処理部は、撮像部により空撮するための複数の空撮位置の情報を取得し、第３の部分領域における撮像部による各空撮位置での空撮が完了した場合、第３の部分領域における第１の合成画像を生成してよい。 The plurality of partial regions may include a third partial region. The processing unit acquires information on a plurality of aerial shooting positions for performing aerial shooting by the imaging unit, and when the aerial shooting at each aerial shooting position by the imaging unit in the third partial region is completed, the third partial region A first composite image may be generated.
一態様において、画像合成方法は、飛行体により空撮された空撮画像を合成するモバイルプラットフォームにおける画像合成方法であって、異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、複数の第１の空撮画像の画像範囲を包囲する第１の領域を取得するステップと、第１の領域を複数の部分領域に分割するステップと、部分領域毎に、複数の第１の空撮画像を合成して、第１の合成画像を生成するステップと、を有する。 In one aspect, the image composition method is an image composition method in a mobile platform for composing an aerial image captured by an aircraft, and acquiring a plurality of first aerial images having different image ranges; Obtaining a first area surrounding the image range of the plurality of first aerial images, dividing the first area into a plurality of partial areas, and a plurality of first areas for each partial area Synthesizing the aerial image and generating a first synthesized image.
第１の合成画像を生成するステップは、複数の第１の空撮画像のうち、画像範囲が同一の部分領域と重複する複数の第２の空撮画像を合成して、第１の合成画像を生成するステップを含んでよい。 The step of generating the first composite image is performed by combining a plurality of second aerial images that overlap with a partial region having the same image range among the plurality of first aerial images. May be included.
第１の合成画像を生成するステップは、複数の第２の空撮画像のうちの一部を、第１の合成画像を生成するための第２の空撮画像から除外し、第１の合成画像を生成するステップを含んでよい。 The step of generating the first composite image excludes a part of the plurality of second aerial images from the second aerial image for generating the first composite image, A step of generating an image may be included.
第１の合成画像を生成するステップは、第２の空撮画像における部分領域と重複する第１の部分を切り出すステップと、切り出された複数の第２の空撮画像における複数の第１の部分を合成して、第１の合成画像を生成するステップと、を含んでよい。 The step of generating the first composite image includes a step of cutting out a first portion that overlaps a partial region in the second aerial image, and a plurality of first portions in the plurality of cut out second aerial images. And generating a first composite image.
画像合成方法は、部分領域毎に得られた複数の第１の合成画像を合成して、第２の合成画像を生成するステップ、を更に含んでよい。 The image synthesis method may further include a step of synthesizing a plurality of first synthesized images obtained for each partial region to generate a second synthesized image.
第１の領域における隣り合う複数の部分領域は、重複する部分を有してよい。 A plurality of adjacent partial regions in the first region may have overlapping portions.
第１の合成画像を生成するステップは、第１の合成画像の生成に用いられる第１の記憶部において、第１の部分領域における第１の合成画像を生成するステップと、生成された第１の合成画像を、第１の合成画像が記録される第２の記憶部に送るステップと、第１の合成画像を第２の記憶部に送った後、第１の記憶部において第２の部分領域における第１の合成画像を生成するステップと、を含んでよい。 The step of generating the first composite image includes the step of generating the first composite image in the first partial region in the first storage unit used for generating the first composite image, and the generated first A step of sending the composite image to the second storage unit in which the first composite image is recorded, and a second part in the first storage unit after sending the first composite image to the second storage unit Generating a first composite image in the region.
モバイルプラットフォームは、飛行体でよい。飛行体は、撮像部を備えてよい。第１の合成画像を生成するステップは、飛行体の飛行中に、撮像部に空撮させて第１の空撮画像を取得し、第１の合成画像を生成するステップ、を含んでよい。 The mobile platform may be a flying object. The flying object may include an imaging unit. The step of generating the first composite image may include the step of causing the imaging unit to take an aerial image to acquire the first aerial image and generating the first composite image during the flight of the flying object.
画像合成方法は、飛行体が飛行するための飛行パラメータ及び撮像部により空撮するための撮像パラメータを取得するステップと、飛行パラメータ及び撮像パラメータに基づいて、画像範囲を決定するステップと、を更に含んでよい。 The image synthesis method further includes the steps of acquiring flight parameters for the flying object to fly and imaging parameters for aerial photography by the imaging unit, and determining an image range based on the flight parameters and the imaging parameters. May include.
飛行パラメータ及び撮像パラメータを取得するステップは、飛行パラメータ及び撮像パラメータの一部を取得するステップと、飛行パラメータ及び撮像パラメータの一部に基づいて、飛行パラメータ及び撮像パラメータの他の一部を算出するステップと、を含んでよい。 The step of acquiring the flight parameter and the imaging parameter is a step of acquiring a part of the flight parameter and the imaging parameter, and calculating another part of the flight parameter and the imaging parameter based on the part of the flight parameter and the imaging parameter. Steps may be included.
飛行パラメータ及び撮像パラメータを取得するステップは、飛行パラメータ及び撮像パラメータの少なくとも一部を、飛行パラメータ及び撮像パラメータを入力する入力装置から取得するステップ、を含んでよい。 Obtaining the flight parameters and imaging parameters may include obtaining at least some of the flight parameters and imaging parameters from an input device that inputs the flight parameters and imaging parameters.
複数の部分領域は、第３の部分領域を含んでよい。第１の合成画像を生成するステップは、撮像部により空撮するための複数の空撮位置の情報を取得するステップと、第３の部分領域における撮像部による各空撮位置での空撮が完了した場合、第３の部分領域における第１の合成画像を生成するステップと、を含んでよい。 The plurality of partial regions may include a third partial region. The step of generating the first composite image includes acquiring a plurality of aerial shooting position information for aerial shooting by the imaging unit, and performing aerial shooting at each aerial shooting position by the imaging unit in the third partial region. If completed, generating a first composite image in the third partial region may be included.
一態様において、プログラムは、飛行体により空撮された空撮画像を合成するモバイルプラットフォームに、異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、複数の第１の空撮画像の画像範囲を包囲する第１の領域を取得するステップと、第１の領域を複数の部分領域に分割するステップと、部分領域毎に、複数の第１の空撮画像を合成して、第１の合成画像を生成するステップと、を実行させるためのプログラムである。 In one aspect, a program acquires a plurality of first aerial images having different image ranges on a mobile platform that synthesizes aerial images captured by an aircraft, and a plurality of first aerial images. Obtaining a first region surrounding the image range of the image; dividing the first region into a plurality of partial regions; and combining the plurality of first aerial images for each partial region; And a step of generating a first composite image.
一態様において、記録媒体は、飛行体により空撮された空撮画像を合成するモバイルプラットフォームに、異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、複数の第１の空撮画像の画像範囲を包囲する第１の領域を取得するステップと、第１の領域を複数の部分領域に分割するステップと、部分領域毎に、複数の第１の空撮画像を合成して、第１の合成画像を生成するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。 In one aspect, the recording medium acquires a plurality of first aerial images having different image ranges on a mobile platform that synthesizes aerial images captured by the aircraft, and a plurality of first aerial images. Acquiring a first region surrounding the image range of the captured image, dividing the first region into a plurality of partial regions, and combining the plurality of first aerial images for each partial region And a step of generating a first composite image. A computer-readable recording medium storing a program for executing the step.
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the summary of the invention described above does not enumerate all the features of the present disclosure. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。 Hereinafter, although this indication is explained through an embodiment of the invention, the following embodiment does not limit the invention concerning a claim. Not all combinations of features described in the embodiments are essential for the solution of the invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, the description, the drawings, and the abstract include matters subject to copyright protection. The copyright owner will not object to any number of copies of these documents as they appear in the JPO file or record. However, in other cases, all copyrights are reserved.
以下の実施形態では、モバイルプラットフォームとして、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）を主に例示する。無人航空機は、飛行体の一例であり、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「ＵＡＶ」とも表記する。また、モバイルプラットフォームは、無人航空機以外の装置でもよく、例えば端末、ＰＣ（Personal Computer）、又はその他の装置でもよい。画像合成方法は、モバイルプラットフォームにおける動作が規定されたものである。記録媒体は、プログラム（例えば、モバイルプラットフォームに各種の処理を実行させるためのプログラム）が記録されたものである。 In the following embodiment, an unmanned aerial vehicle (UAV) is mainly exemplified as a mobile platform. An unmanned aerial vehicle is an example of a flying body and includes an aircraft that moves in the air. In the drawings attached to this specification, the unmanned aerial vehicle is also referred to as “UAV”. The mobile platform may be a device other than an unmanned aerial vehicle, such as a terminal, a PC (Personal Computer), or another device. The image synthesizing method defines the operation on the mobile platform. The recording medium records a program (for example, a program for causing the mobile platform to execute various processes).
（第１の実施形態）
図１は、第１の実施形態における画像合成システム１０の第１構成例を示す模式図である。画像合成システム１０は、無人航空機１００及び端末８０を備える。無人航空機１００及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network））により通信可能である。図１Ａでは、端末８０が携帯端末（例えばスマートフォン、タブレット端末）であることを例示している。
(First embodiment)
FIG. 1 is a schematic diagram illustrating a first configuration example of an
無人航空機１００は、ストレージに保持された複数の空撮画像（元画像とも称する）を取得する。無人航空機１００は、複数の空撮画像の画像範囲を包囲する包囲領域を算出し、包囲領域を複数の部分領域に分割する。無人航空機１００は、部分領域毎に、複数の空撮画像を合成し、合成画像を生成する。なお、空撮は、撮像の一例である。
The unmanned
端末８０は、無人航空機１００による空撮画像の合成を補助するための情報（各種パラメータ）を入力したり提示（例えば、表示、音声出力）したりしてよい。端末８０は、空撮画像の合成を希望するユーザに所持され得る。
The terminal 80 may input or present information (for example, display or audio output) for assisting the synthesis of the aerial image by the
図２は、第１の実施形態における画像合成システム１０の第２構成例を示す模式図である。図１Ｂでは、端末８０がＰＣであることを例示している。図１Ａ及び図１Ｂのいずれであっても、端末８０が有する機能は同じでよい。
FIG. 2 is a schematic diagram illustrating a second configuration example of the
図３は、無人航空機１００のハードウェア構成の一例を示すブロック図である。無人航空機１００は、ＵＡＶ制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ストレージ１７０と、ジンバル２００と、回転翼機構２１０と、撮像部２２０と、撮像部２３０と、ＧＰＳ受信機２４０と、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０と、レーザー測定器２９０と、を含む構成である。なお、メモリ１６０は、第１の記憶部の一例である。ストレージ１７０は、第２の記憶部の一例である。
FIG. 3 is a block diagram illustrating an example of the hardware configuration of the unmanned
ＵＡＶ制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。ＵＡＶ制御部１１０は、無人航空機１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従って無人航空機１００の飛行を制御する。
The
ＵＡＶ制御部１１０は、無人航空機１００の位置を示す位置情報を取得する。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から、無人航空機１００が存在する緯度、経度及び高度を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、ＧＰＳ受信機２４０から無人航空機１００が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計２７０から無人航空機１００が存在する高度を示す高度情報をそれぞれ位置情報として取得してよいＵＡＶ制御部１１０は、超音波センサ２８０による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
The
ＵＡＶ制御部１１０は、磁気コンパス２６０から無人航空機１００の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機１００の機首の向きに対応する方位で示されてよい。
The
ＵＡＶ制御部１１０は、撮像部２２０が撮像すべき撮像範囲を撮像する時に無人航空機１００が存在すべき位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報をメモリ１６０から取得してよい。ＵＡＶ制御部１１０は、無人航空機１００が存在すべき位置を示す位置情報を、通信インタフェース１５０を介して他の装置から取得してよい。ＵＡＶ制御部１１０は、３次元地図データベースを参照して、無人航空機１００が存在可能な位置を特定して、その位置を無人航空機１００が存在すべき位置を示す位置情報として取得してよい。
The
ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の画角を示す画角情報を撮像部２２０及び撮像部２３０から取得してよい。ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、撮像部２２０及び撮像部２３０の撮像方向を示す情報を取得してよい。ＵＡＶ制御部１１０は、例えば撮像部２２０の撮像方向を示す情報として、ジンバル２００から撮像部２２０の姿勢の状態を示す姿勢情報を取得してよい。撮像部２２０の姿勢情報は、ジンバル２００のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。
The
ＵＡＶ制御部１１０は、撮像範囲を特定するためのパラメータとして、無人航空機１００が存在する位置を示す位置情報を取得してよい。ＵＡＶ制御部１１０は、撮像部２２０及び撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて、撮像部２２０が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
The
ＵＡＶ制御部１１０は、メモリ１６０から撮像範囲情報を取得してよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して撮像範囲情報を取得してよい。
The
ＵＡＶ制御部１１０は、ジンバル２００、回転翼機構２１０、撮像部２２０及び撮像部２３０を制御する。ＵＡＶ制御部１１０は、撮像部２２０の撮像方向又は画角を変更することによって、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、ジンバル２００の回転機構を制御することで、ジンバル２００に支持されている撮像部２２０の撮像範囲を制御してよい。
The
撮像範囲とは、撮像部２２０又は撮像部２３０により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される３次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される２次元空間データにおける範囲でもよい。撮像範囲は、撮像部２２０又は撮像部２３０の画角及び撮像方向、並びに無人航空機１００が存在する位置に基づいて特定されてよい。撮像部２２０及び撮像部２３０の撮像方向は、撮像部２２０及び撮像部２３０の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部２２０の撮像方向は、無人航空機１００の機首の方位と、ジンバル２００に対する撮像部２２０の姿勢の状態とから特定される方向でよい。撮像部２３０の撮像方向は、無人航空機１００の機首の方位と、撮像部２３０が設けられた位置とから特定される方向でよい。
The imaging range refers to a geographical range captured by the
ＵＡＶ制御部１１０は、撮像部２２０又は撮像部２３０により撮像された撮像画像（空撮画像）に対して、この空撮画像に関する情報を付加情報（メタデータの一例）として付加してよい。付加情報は、各種パラメータを含んでよい。各種パラメータは、空撮時の無人航空機１００の飛行に関するパラメータ（飛行パラメータ）と空撮時の撮像部２２０又は撮像部２３０による撮像に関する情報（撮像パラメータ）とを含んでよい。飛行パラメータは、空撮位置情報、空撮経路情報、空撮時刻情報、その他の情報のうち少なくとも１つを含んでよい。撮像パラメータは、空撮画角情報、空撮方向情報、空撮姿勢情報、撮像範囲情報、及び被写体距離情報、のうち少なくとも１つを含んでよい。
The
空撮経路情報は、空撮画像が空撮された経路（空撮経路）を示す。空撮経路情報は、空撮時に無人航空機１００が飛行した経路の情報であり、空撮位置が連続的に連なる空撮位置の集合により構成されてよい。空撮位置は、ＧＰＳ受信機２４０により取得された位置に基づいてよい。空撮時刻情報は、空撮画像が空撮された時刻（空撮時刻）を示す。空撮時刻情報は、ＵＡＶ制御部１１０が参照するタイマの時刻情報に基づいてよい。
The aerial shooting route information indicates a route (aerial shooting route) where the aerial image is taken aerial. The aerial shooting route information is information on a route on which the
空撮画角情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の画角情報を示す。空撮方向情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の撮像方向（空撮方向）を示す。空撮姿勢情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の姿勢情報を示す。撮像範囲情報は、空撮画像が空撮された際の撮像部２２０又は撮像部２３０の撮像範囲を示す。被写体距離情報は、撮像部２２０又は撮像部２３０から被写体までの距離の情報を示す。被写体距離情報は、超音波センサ２８０又はレーザー測定器２９０による検出情報に基づいてよい。
The aerial view angle information indicates the view angle information of the
ＵＡＶ制御部１１０は、複数の撮像部２３０により撮像された複数の画像を解析することで、無人航空機１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、無人航空機１００の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。
The
ＵＡＶ制御部１１０は、無人航空機１００の周囲に存在するオブジェクトの立体形状（３次元形状）を示す立体情報（３次元情報）を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、３次元空間データである。ＵＡＶ制御部１１０は、複数の撮像部２３０から得られたそれぞれの画像から、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。ＵＡＶ制御部１１０は、メモリ１６０又はストレージ１７０に格納された３次元地図データベースを参照することにより、無人航空機１００の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。ＵＡＶ制御部１１０は、ネットワーク上に存在するサーバが管理する３次元地図データベースを参照することで、無人航空機１００の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
The
ＵＡＶ制御部１１０は、回転翼機構２１０を制御することで、無人航空機１００の飛行を制御する。つまり、ＵＡＶ制御部１１０は、回転翼機構２１０を制御することにより、無人航空機１００の緯度、経度、及び高度を含む位置を制御する。ＵＡＶ制御部１１０は、無人航空機１００の飛行を制御することにより、撮像部２２０の撮像範囲を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０が備えるズームレンズを制御することで、撮像部２２０の画角を制御してよい。ＵＡＶ制御部１１０は、撮像部２２０のデジタルズーム機能を利用して、デジタルズームにより、撮像部２２０の画角を制御してよい。
The
撮像部２２０が無人航空機１００に固定され、撮像部２２０を動かせない場合、ＵＡＶ制御部１１０は、特定の日時に特定の位置に無人航空機１００を移動させることにより、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。あるいは撮像部２２０がズーム機能を有さず、撮像部２２０の画角を変更できない場合でも、ＵＡＶ制御部１１０は、特定された日時に、特定の位置に無人航空機１００を移動させることで、所望の環境下で所望の撮像範囲を撮像部２２０に撮像させてよい。
When the
通信インタフェース１５０は、端末８０と通信する。通信インタフェース１５０は、任意の無線通信方式により無線通信してよい。通信インタフェース１５０は、任意の有線通信方式により有線通信してもよい。通信インタフェース１５０は、空撮画像や空撮画像に関する付加情報を、端末８０に送信してよい。
The
メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像部２２０、撮像部２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、及びレーザー測定器２９０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、無人航空機１００から取り外し可能であってもよい。
The
メモリ１６０は、作業用メモリとして動作してよい。メモリ１６０は、部分領域における合成画像の生成に使用されてよい。
The
ストレージ１７０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤカード、ＵＳＢメモリ、その他のストレージの少なくとも１つを含んでよい。ストレージ１７０は、各種情報、各種データを保持してよい。ストレージ１７０は、無人航空機１００から取り外し可能であってもよい。
The
ストレージ１７０は、空撮画像を記録してよい。ストレージ１７０は、空撮画像を基に生成された部分領域における合成画像や、各部分領域の各合成画像が合成された合成画像、を記録してよい。
The
ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像部２２０を回転させることで、撮像部２２０の撮像方向を変更してよい。
The
ヨー軸、ピッチ軸、及びロール軸は、以下のように定められてよい。例えば、水平方向（地面と平行な方向）にロール軸が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸が定められ、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（ｚ軸参照）が定められる。 The yaw axis, pitch axis, and roll axis may be determined as follows. For example, assume that the roll axis is defined in the horizontal direction (direction parallel to the ground). In this case, a pitch axis is defined in a direction parallel to the ground and perpendicular to the roll axis, and a yaw axis (see z-axis) is defined in a direction perpendicular to the ground and perpendicular to the roll axis and the pitch axis.
回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構２１０は、ＵＡＶ制御部１１０により回転を制御されることにより、無人航空機１００を飛行させる。回転翼２１１の数は、例えば４つでもよいし、その他の数でもよい。また、無人航空機１００は、回転翼を有さない固定翼機でもよい。
The
撮像部２２０は、所望の撮像範囲に含まれる被写体（例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物）を撮像する撮像用のカメラでよい。撮像部２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部２２０の撮像により得られた画像データ（例えば空撮画像）は、撮像部２２０が有するメモリ、又はストレージ１７０に格納されてよい。
The
撮像部２３０は、無人航空機１００の飛行を制御するために無人航空機１００の周囲を撮像するセンシング用のカメラでよい。２つの撮像部２３０が、無人航空機１００の機首である正面に設けられてよい。さらに、他の２つの撮像部２３０が、無人航空機１００の底面に設けられてよい。正面側の２つの撮像部２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像部２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像部２３０により撮像された画像に基づいて、無人航空機１００の周囲の３次元空間データ（３次元形状データ）が生成されてよい。なお、無人航空機１００が備える撮像部２３０の数は４つに限定されない。無人航空機１００は、少なくとも１つの撮像部２３０を備えてよい。無人航空機１００は、無人航空機１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像部２３０を備えてよい。撮像部２３０で設定できる画角は、撮像部２２０で設定できる画角より広くてよい。撮像部２３０は、単焦点レンズ又は魚眼レンズを有してよい。撮像部２３０は、無人航空機１００の周囲を撮像して撮像画像のデータを生成する。撮像部２３０の画像データは、ストレージ１７０に格納されてよい。
The
ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人航空機１００の位置）を算出する。ＧＰＳ受信機２４０は、無人航空機１００の位置情報をＵＡＶ制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりにＵＡＶ制御部１１０により行われてよい。この場合、ＵＡＶ制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。
The
慣性計測装置２５０は、無人航空機１００の姿勢を検出し、検出結果をＵＡＶ制御部１１０に出力する。慣性計測装置２５０は、無人航空機１００の姿勢として、無人航空機１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出してよい。
磁気コンパス２６０は、無人航空機１００の機首の方位を検出し、検出結果をＵＡＶ制御部１１０に出力する。
The
気圧高度計２７０は、無人航空機１００が飛行する高度を検出し、検出結果をＵＡＶ制御部１１０に出力する。
超音波センサ２８０は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をＵＡＶ制御部１１０に出力する。検出結果は、無人航空機１００から地面までの距離つまり高度を示してよい。検出結果は、無人航空機１００から物体（被写体）までの距離を示してよい。
The
レーザー測定器２９０は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機１００と物体（被写体）との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
図４は、端末８０のハードウェア構成の一例を示すブロック図である。端末８０は、端末制御部８１、操作部８３、通信部８５、メモリ８７、表示部８８、及びストレージ８９を備えてよい。
FIG. 4 is a block diagram illustrating an example of a hardware configuration of the terminal 80. The terminal 80 may include a
端末制御部８１は、例えばＣＰＵ、ＭＰＵ又はＤＳＰを用いて構成される。端末制御部８１は、端末８０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
The
端末制御部８１は、通信部８５を介して、無人航空機１００からのデータや空撮画像や情報を取得してよい。端末制御部８１は、操作部８３を介して入力されたデータや情報（例えば各種パラメータ）を取得してよい。端末制御部８１は、メモリ８７に保持されたデータや空撮画像や情報を取得してよい。端末制御部８１は、通信部８５を介して、無人航空機１００へ、データや情報（例えば各種パラメータ）を送信させてよい。端末制御部８１は、データや情報（例えば各種パラメータ）や空撮画像や合成画像を表示部８８に送り、このデータや情報や空撮画像や合成画像に基づく表示情報を表示部８８に表示させてよい。
The
端末制御部８１は、画像合成支援アプリケーションを実行してよい。画像合成支援アプリケーションは、無人航空機１００による空撮画像の合成を支援するためのアプリケーションでよい。端末制御部８１は、アプリケーションで用いられる各種のデータを生成してよい。
The
操作部８３は、端末８０のユーザにより入力されるデータや情報を受け付けて取得する。操作部８３は、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。ここでは、主に、操作部８３と表示部８８とがタッチパネルにより構成されることを例示する。この場合、操作部８３は、タッチ操作、タップ操作、ドラック操作等を受付可能である。操作部８３は、各種パラメータの情報を受け付けてよい。操作部８３により入力された情報は、無人航空機１００へ送信されてよい。各種パラメータは、画像合成に関するパラメータ（例えば画像合成の対象となる元画像の枚数、画像合成を行う所定の領域のサイズ、形状、の情報）を含んでよい。
The
通信部８５は、各種の無線通信方式により、無人航空機１００との間で無線通信する。この無線通信の無線通信方式は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は公衆無線回線を介した通信を含んでよい。通信部８５は、任意の有線通信方式により有線通信してもよい。
The
メモリ８７は、例えば端末８０の動作を規定するプログラムや設定値のデータが格納されたＲＯＭと、端末制御部８１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭを有してよい。メモリ８７は、ＲＯＭ及びＲＡＭ以外のメモリが含まれてよい。メモリ８７は、端末８０の内部に設けられてよい。メモリ８７は、端末８０から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
The
表示部８８は、例えばＬＣＤ（Liquid Crystal Display）を用いて構成され、端末制御部８１から出力された各種の情報やデータや空撮画像や合成画像を表示する。表示部８８は、画像合成支援アプリケーションの実行に係る各種データや情報を表示してよい。
The
ストレージ８９は、各種データ、情報を蓄積し、保持する。ストレージ８９は、ＨＤＤ、ＳＳＤ、ＳＤカード、ＵＳＢメモリ、等でよい。ストレージ８９は、端末８０の内部に設けられてよい。ストレージ８９は、端末８０から取り外し可能に設けられてよい。ストレージ８９は、無人航空機１００から取得された空撮画像や付加情報を保持してよい。付加情報は、メモリ８７に保持されてもよい。ストレージ８９は、空撮画像に基づく合成画像を保持してもよい。
The
次に、無人航空機１００のＵＡＶ制御部１１０が有する画像合成に関する機能について説明する。ＵＡＶ制御部１１０は、処理部の一例である。ＵＡＶ制御部１１０は、空撮画像の合成に関する処理を行う。
Next, functions relating to image composition that the
ＵＡＶ制御部１１０は、ストレージ１７０に記録された空撮画像を読出し、取得してよい。この空撮画像は、元画像ＯＧとなる。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して元画像ＯＧを受信することで、元画像ＯＧを取得してよい。これらの元画像ＯＧは、過去に空撮された空撮画像でよい。
The
ＵＡＶ制御部１１０は、複数の元画像ＯＧを取得する。複数の元画像ＯＧは、それぞれ、元画像ＯＧの画像範囲ＧＨ（撮像範囲）が異なる（図５参照等）。画像範囲ＧＨは、元画像ＯＧに映り込んだ地理的な範囲を示してよい。元画像ＯＧが空撮された位置が異なることに起因して、各元画像ＯＧの画像範囲ＧＨが異なってよい。元画像ＯＧが空撮された位置は同じであるが、元画像ＯＧが空撮された空撮方向、空撮高度（例えば無人航空機１００の飛行高度）、等が異なることに起因して、各元画像ＯＧの画像範囲ＧＨが異なってよい。元画像ＯＧの画像範囲ＧＨが異なることは、元画像ＯＧのサイズ、元画像ＯＧの向き、元画像ＯＧの形状、等が異なることが含まれてよい。なお、元画像ＯＧは、第１の空撮画像の一例である。
The
画像範囲ＧＨは、各種の撮像パラメータや飛行パラメータを基に定められてよい。撮像パラメータは、上述した撮像範囲情報を含んでよい。つまり、撮像パラメータは、元画像ＯＧが過去に空撮された際の撮像部２２０又は撮像部２３０の画角ＦＯＶ、空撮方向、撮像部２２０の姿勢、ジンバル２００の回転角度、等の情報を含んでよい。飛行パラメータは、元画像ＯＧが過去に空撮された際の無人航空機１００の位置（空撮位置）（例えば緯度、経度、高度）を含んでよい。
The image range GH may be determined based on various imaging parameters and flight parameters. The imaging parameter may include the imaging range information described above. That is, the imaging parameters include information such as the angle of view FOV of the
過去に空撮された元画像ＯＧに関する撮像パラメータ及び飛行パラメータは、元画像ＯＧに付加された付加情報に含まれていてよい。ＵＡＶ制御部１１０は、この付加情報を、ストレージ１７０から読み出し、取得してよい。ＵＡＶ制御部１１０は、この付加情報を、通信インタフェース１５０を介して受信し、取得してよい。ＵＡＶ制御部１１０は、撮像パラメータ及び飛行パラメータの少なくとも１つに基づいて、複数の元画像ＯＧの画像範囲ＧＨを決定してよい。例えば、ＵＡＶ制御部１１０は、画角ＦＯＶ、空撮方向、撮像部２２０の姿勢、空撮位置（緯度、経度、高度）、等に基づいて、画像範囲ＧＨを算出してよい。
Imaging parameters and flight parameters relating to the original image OG taken in the past may be included in the additional information added to the original image OG. The
これにより、無人航空機１００は、空撮済みの元画像ＯＧの付加情報を基に、元画像ＯＧが空撮された地理的な範囲を把握することができる。
Thereby, the unmanned
ＵＡＶ制御部１１０は、取得された複数の元画像ＯＧの画像範囲ＧＨを包囲する包囲領域Ｄ１を算出する。なお、包囲領域Ｄ１は、第１の領域の一例である。
The
ＵＡＶ制御部１１０は、３次元地図データベースに含まれる地図領域Ｄ１１を、包囲領域Ｄ１としてよい。地図領域Ｄ１１は、取得された複数の元画像ＯＧの画像範囲ＧＨを内部に含む。地図領域Ｄ１１の外周は、取得された複数の元画像ＯＧに外接してもよいし、外接しなくてもよい。ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２を、包囲領域Ｄ１としてよい。外接矩形領域Ｄ１２は、取得された複数の元画像ＯＧの画像範囲ＧＨを内部に含み、複数の元画像ＯＧの画像範囲ＧＨに外接する矩形状の領域である。
The
ＵＡＶ制御部１１０は、包囲領域Ｄ１を分割し、複数の部分領域ｐｄを生成する。ＵＡＶ制御部１１０は、包囲領域Ｄ１を二次元平面において一定の等間隔で区分することで、複数の部分領域ｐｄを生成してよい。ＵＡＶ制御部１１０は、包囲領域Ｄ１を二次元平面において異なる間隔で区分して、複数の部分領域ｐｄを生成してよい。つまり、部分領域ｐｄのサイズは、それぞれ同じでも異なってもよい。この二次元平面は、地面に平行な平面でよい。部分領域ｐｄの形状は、矩形（例えば正方形）でもよいし、矩形でなくてもよい。
The
部分領域ｐｄのサイズは、地図データベースが保持する地図画像の一部を構成するタイル画像のサイズに合わせて決定されてよい。部分領域ｐｄのサイズは、画像合成に用いられるデバイス（例えばメモリ１６０）のスペック（例えば容量）に基づき、部分領域ｐｄにおける画像合成時にメモリリークが発生しないサイズに決定されてよい。部分領域ｐｄのサイズは、部分領域ｐｄにおける画像合成時の処理時間や処理効率の観点から決定されてよい。 The size of the partial region pd may be determined according to the size of the tile image that constitutes a part of the map image held in the map database. The size of the partial region pd may be determined based on the specification (for example, capacity) of the device (for example, the memory 160) used for image composition so that no memory leak occurs during image composition in the partial region pd. The size of the partial region pd may be determined from the viewpoint of processing time and processing efficiency during image composition in the partial region pd.
ＵＡＶ制御部１１０は、部分領域ｐｄ毎に、複数の元画像ＯＧを合成し、合成画像ＳＧ１を生成してよい。この場合、ＵＡＶ制御部１１０は、複数の元画像ＯＧのうち、部分領域ｐｄと重複する画像である重複元画像ＯＯＧを、部分領域ｐｄにおける画像合成に使用する。ＵＡＶ制御部１１０は、重複元画像ＯＯＧが空撮された空撮位置の情報を用いて、合成画像ＳＧ１を生成してよい。空撮位置の情報は、元画像ＯＧに関する付加情報に含まれてよい。ＵＡＶ制御部１１０は、画像認識により、重複元画像ＯＯＧの特徴点を抽出してよい。ＵＡＶ制御部１１０は、複数の重複元画像ＯＯＧの特徴点同志を対応（マッチング）させて、合成画像ＳＧ１を生成してよい。なお、重複元画像ＯＯＧは、第２の空撮画像の一例である。合成画像ＳＧ１は、第１の合成画像の一例である。
The
ＵＡＶ制御部１１０は、部分領域ｐｄと重複する重複元画像ＯＯＧの全体を合成して、合成画像ＳＧ１を生成してよい。ＵＡＶ制御部１１０は、部分領域ｐｄと重複する重複元画像ＯＯＧの一部（重複部分）を合成して、合成画像ＳＧ１を生成してよい。この場合、ＵＡＶ制御部１１０は、部分領域ｐｄと重複元画像ＯＯＧとの重複部分を切り出し、切り出された重複部分を合成してよい。重複部分の合成により得られた合成画像ＳＧ１は、その画像範囲ＧＨが部分領域ｐｄに含まれることになる。なお、この重複部分は、第１の部分の一例である。
The
これにより、部分領域ｐｄにおける画像合成に使用された重複部分の全てが、部分領域ｐｄの合成画像ＳＧ１に寄与することになる。したがって、無人航空機１００は、部分領域ｐｄの画像合成において、この部分領域ｐｄ以外の画像部分の演算が無くなり、演算効率を向上できる。
Thereby, all the overlapping parts used for the image composition in the partial region pd contribute to the composite image SG1 of the partial region pd. Therefore, the unmanned
ＵＡＶ制御部１１０は、部分領域ｐｄと重複する全ての重複元画像ＯＯＧを合成して、合成画像ＳＧ１を生成してよい。ＵＡＶ制御部１１０は、部分領域ｐｄと重複する一部の重複元画像ＯＯＧを合成して、合成画像ＳＧ１を生成してよい。つまり、ＵＡＶ制御部１１０は、画像合成に用いる重複元画像ＯＯＧを決定すべく、重複元画像ＯＯＧの一部を間引いてもよい。
The
例えば、ＵＡＶ制御部１１０は、部分領域ｐｄと重複元画像ＯＯＧとが重複する面積を算出してよい。ＵＡＶ制御部１１０は、算出された面積が所定閾値以下である重複元画像ＯＯＧを、画像合成に用いる画像から除外してよい。また、重複する面積の代わりに、重複する割合（重複率）を用いてもよい。つまり、ＵＡＶ制御部１１０は、算出された重複率が所定閾値以下（例えば１／１０以下）である重複元画像ＯＯＧを、画像合成に用いる画像から除外してよい。
For example, the
これにより、無人航空機１００は、合成画像ＳＧ１に寄与する部分が小さい重複元画像ＯＯＧを画像合成の対象から除外するので、画像の合成画像ＳＧ１に対する影響力が小さくできる。また、画像合成に用いる画像数が削減されるので、無人航空機１００は、画像合成に係る処理負荷を低減できる。
Thereby, the unmanned
例えば、端末８０において、端末制御部８１は、操作部８３を介して、重複元画像ＯＯＧのうち、画像合成の対象から除外する重複元画像ＯＯＧを指定し、指定情報を生成してよい。端末制御部８１は、通信部８５を介して、指定情報を無人航空機１００へ送信してよい。無人航空機１００において、ＵＡＶ制御部１１０は、通信インタフェース１５０を介して端末８０から指定情報を取得してよい。ＵＡＶ制御部１１０は、指定情報により指定された重複元画像ＯＯＧを画像合成に用いる画像から除外してよい。
For example, in the terminal 80, the
これにより、無人航空機１００は、ユーザが画像合成に用いられることを希望しない重複元画像ＯＯＧを画像合成の対象から除外でき、部分領域ｐｄにおいて所望の合成画像ＳＧ１を生成できる。また、画像合成に用いる画像数が削減されるので、無人航空機１００は、画像合成に係る処理負荷を低減できる。
Thereby, the unmanned
例えば、端末８０において、端末制御部８１は、操作部８３を介して、１つの部分領域ｐｄにおける画像合成に用いる重複元画像ＯＯＧの枚数を指定し、指定情報を生成してよい。端末制御部８１は、通信部８５を介して、指定情報を無人航空機１００へ送信してよい。無人航空機１００において、ＵＡＶ制御部１１０は、通信インタフェース１５０を介して端末８０から指定情報を取得し、指定情報で規定された枚数以下となるように、複数の重複元画像ＯＯＧから、画像合成に用いる重複元画像ＯＯＧを決定してよい。
For example, in the terminal 80, the
ＵＡＶ制御部１１０は、部分領域ｐｄ毎に、合成画像ＳＧ１を生成する。ＵＡＶ制御部１１０は、包囲領域Ｄ１内の各部分領域ｐｄにおける各合成画像ＳＧ１を合成し、包囲領域Ｄ１における合成画像ＳＧ２を生成してよい。つまり、ＵＡＶ制御部１１０は、取得された複数の元画像ＯＧの画像範囲全体における合成画像ＳＧ２を生成してよい。なお、合成画像ＳＧ２は、第２の合成画像の一例である。
The
ＵＡＶ制御部１１０は、合成画像ＳＧ１，ＳＧ２を生成する際に、最適化処理を実施してよい。最適化処理は、画像合成の対象となる画像の位置合わせ、画質合わせ（例えば解像度を調整して合わせる）、を含んでよい。画像の位置合わせは、画像合成の対象となる画像の位置情報に基づいてもよいし、画像合成の対象となる画像の特徴点の情報に基づいてもよい。部分領域ｐｄにおいて合成画像ＳＧ１が生成される場合には、重複元画像ＯＯＧが画像合成の対象となる。包囲領域Ｄ１において合成画像ＳＧ２が生成される場合には、合成画像ＳＧ１が画像合成の対象となる。
The
包囲領域Ｄ１において、隣り合う部分領域ｐｄは、部分領域ｐｄの外周が互いに接してよい。隣り合う部分領域ｐｄは、少なくとも一部が重複してもよく、つまりオーバーラップしてもよい。 In the surrounding area D1, the adjacent partial areas pd may be in contact with each other at the outer periphery of the partial area pd. The adjacent partial regions pd may overlap at least partially, that is, may overlap.
次に、包囲領域Ｄ１、部分領域ｐｄ、元画像ＯＧの画像範囲ＧＨ、等の具体例について説明する。 Next, specific examples of the surrounding area D1, the partial area pd, the image range GH of the original image OG, and the like will be described.
図５は、包囲領域Ｄ１としての地図領域Ｄ１１及び部分領域ｐｄの一例を示す図である。ＵＡＶ制御部１１０は、複数の元画像ＯＧを取得する。図５では、複数の元画像ＯＧが、元画像ＯＧが空撮された空撮位置や元画像ＯＧの画像範囲ＧＨを加味して、二次元平面（例えばｘｙ方向）においてマッピングされている。ＵＡＶ制御部１１０は、複数の元画像ＯＧの画像範囲ＧＨのうち、ｘ方向の最大値、ｘ方向の最小値、ｙ方向の最大値、及びｙ方向の最小値を有する４点を通る矩形状の領域を、外接矩形領域Ｄ１２として算出してよい。
FIG. 5 is a diagram illustrating an example of the map area D11 and the partial area pd as the surrounding area D1. The
図５では、ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２を包囲して、地図領域Ｄ１１を決定してよい。地図領域Ｄ１１は、外部の地図データベースが蓄積する地図画像における任意の地理的領域と一致してよい。地図画像は、例えば地図データベースにおいて、複数のタイル画像（地図画像を構成する部分的な画像）が配列されて合成されることで、生成される。ＵＡＶ制御部１１０は、地図領域Ｄ１１を分割し、複数の部分領域ｐｄを生成する。この部分領域ｐｄは、地図画像を作成するために用いられた、タイル画像の領域と一致してよい。
In FIG. 5, the
ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２に基づいて、地図領域Ｄ１１を決定してよい。例えば、ＵＡＶ制御部１１０は、地図領域Ｄ１１が外接矩形領域Ｄ１２を含んで最も小さい矩形の領域となるように、地図領域Ｄ１１を決定してよい。つまり、ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２の外周を示す矩形の線が、包囲領域Ｄ１内における最も外側の外周部に存在する部分領域ｐｄを通るように、包囲領域Ｄ１を決定してよい。
The
ＵＡＶ制御部１１０は、例えば、取得された複数の元画像ＯＧのうち、部分領域ｐｄ１と画像範囲ＧＨが重複する重複元画像ＯＯＧを決定する。図５では、部分領域ｐｄ１における重複元画像ＯＯＧは８個存在する。ＵＡＶ制御部１１０は、重複元画像ＯＯＧを基に、部分領域ｐｄ１の合成画像ＳＧ１を生成する。
For example, the
包囲領域Ｄ１が地図領域Ｄ１１とされることで、部分領域ｐｄ１がタイル画像の領域に一致する。そのため、無人航空機１００は、部分領域ｐｄ１の合成画像ＳＧ１とタイル画像との比較や分析をし易くできる。また、無人航空機１００は、各合成画像ＳＧ１が合成された合成画像ＳＧ２と、地図画像において合成画像ＳＧ２に対応する地理的領域の画像と、の比較や分析をし易くできる。
Since the surrounding area D1 is the map area D11, the partial area pd1 matches the area of the tile image. Therefore, the unmanned
図６は、外接矩形領域Ｄ１２としての包囲領域Ｄ１及び部分領域ｐｄの一例を示す図である。図６において、図５と同様の部分については、その説明を省略又は簡略化する。 FIG. 6 is a diagram illustrating an example of the surrounding region D1 and the partial region pd as the circumscribed rectangular region D12. In FIG. 6, the description of the same parts as in FIG. 5 is omitted or simplified.
図６では、ＵＡＶ制御部１１０は、地図領域Ｄ１１を生成しない。つまり、地図画像に基づく領域を加味しない。ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２を分割し、複数の部分領域ｐｄを生成する。この部分領域ｐｄは、地図画像に係るタイル画像の領域とは一致しなくてよい。
In FIG. 6, the
包囲領域Ｄ１が外接矩形領域Ｄ１２とされることで、無人航空機１００は、地図領域Ｄ１１を不要にでき、外接矩形領域Ｄ１２から部分領域ｐｄを直接算出可能である。したがって、無人航空機１００は、画像合成に係る演算量を低減できる。また、外接矩形領域Ｄ１２としての包囲領域Ｄ１に対する複数の元画像ＯＧの画像範囲ＧＨの割合が、外接矩形領域Ｄ１２の外側に形成される地図領域Ｄ１１の場合と比較して大きくなる。そのため、包囲領域Ｄ１全体の合成画像である合成画像ＳＧ２に寄与する部分領域ｐｄの数が多くなる。したがって、無人航空機１００は、合成画像ＳＧ２の画像合成の効率を向上できる。
Since the surrounding area D1 is the circumscribed rectangular area D12, the
図７は、部分領域ｐｄ間で重複（オーバーラップ）を有する場合の部分領域ｐｄの一例を示す図である。図７において、図５又は図６と同様の部分については、その説明を省略又は簡略化する。 FIG. 7 is a diagram illustrating an example of the partial region pd when there is an overlap (overlap) between the partial regions pd. In FIG. 7, the description of the same parts as those in FIG. 5 or FIG. 6 is omitted or simplified.
図７では、隣り合う部分領域ｐｄ（例えば部分領域ｐｄ２，ｐｄ３）において、重複部分を有する。例えば、元画像ＯＧ１が、部分領域ｐｄ２及び部分領域ｐｄ３の双方と重複しているので、部分領域ｐｄ２，ｐｄ３の双方において重複元画像ＯＯＧとなる。 In FIG. 7, adjacent partial regions pd (for example, partial regions pd2 and pd3) have overlapping portions. For example, since the original image OG1 overlaps both the partial region pd2 and the partial region pd3, it becomes the overlapping original image OOG in both the partial regions pd2 and pd3.
これにより、無人航空機１００は、隣り合う部分領域ｐｄ２，ｐｄ３における重複元画像ＯＯＧの１つに、同一の元画像ＯＧ１を使用できる。よって、元画像ＯＧ１は、部分領域ｐｄ２，ｐｄ３の双方における画像合成に寄与する。そのため、無人航空機１００は、部分領域ｐｄ２，ｐｄ３における合成画像ＳＧ１の連続性が高くでき、部分領域ｐｄ２，ｐｄ３の合成画像ＳＧ１の繋がりが滑らかになり、合成画像ＳＧ２の画質を向上できる。
Thereby, the
図８は、複数の元画像のサイズが異なる場合の元画像とその位置関係の一例を示す図である。図８において、図５〜図７と同様の部分については、その説明を省略又は簡略化する。 FIG. 8 is a diagram illustrating an example of an original image and its positional relationship when the sizes of a plurality of original images are different. 8, the description of the same parts as those in FIGS. 5 to 7 is omitted or simplified.
ＵＡＶ制御部１１０は、図５〜７に示したように、元画像ＯＧのサイズ、つまり元画像ＯＧの画像範囲ＧＨの大きさが一定であり同じである複数の元画像ＯＧを取得してよい。また、図８に示すように、ＵＡＶ制御部１１０は、図８に示したように、元画像のサイズ、つまり元画像ＯＧの画像範囲ＧＨの大きさが一定でなく異なる複数の元画像ＯＧを取得してよい。
As shown in FIGS. 5 to 7, the
次に、画像合成時におけるメモリ１６０及びストレージ１７０の使用例について説明する。
Next, a usage example of the
ＵＡＶ制御部１１０は、第１の部分領域ｐｄにおける１つ以上の重複元画像ＯＯＧをストレージ１７０からメモリ１６０へ読み出す。ＵＡＶ制御部１１０は、メモリ１６０を用いて重複元画像ＯＯＧを合成して合成画像ＳＧ１を生成し、最適化処理を行う。ＵＡＶ制御部１１０は、生成された第１の部分領域ｐｄの合成画像ＳＧ１をメモリ１６０からストレージ１７０に送り、ストレージ１７０に記録させる（書き込む）。ＵＡＶ制御部１１０は、生成された合成画像ＳＧ１をメモリ１６０から削除する。
The
続いて、ＵＡＶ制御部１１０は、第２の部分領域ｐｄにおける１つ以上の重複元画像ＯＯＧをストレージ１７０からメモリ１６０へ読み出す。ＵＡＶ制御部１１０は、メモリ１６０を用いて重複元画像ＯＯＧを合成して合成画像ＳＧ１を生成し、最適化処理を行う。ＵＡＶ制御部１１０は、生成された第２の部分領域ｐｄの合成画像ＳＧ１をメモリ１６０からストレージ１７０に送り、ストレージ１７０に記録させる（書き込む）。ＵＡＶ制御部１１０は、生成された合成画像ＳＧ１をメモリ１６０から削除する。以降、ＵＡＶ制御部１１０は、このような処理を、各部分領域ｐｄについて反復して実施してよい。
Subsequently, the
したがって、ＵＡＶ制御部１１０は、部分領域ｐｄにおける合成画像ＳＧ１の合成に必要なメモリ容量を確保すれば済み、包囲領域Ｄ１全体における合成画像ＳＧ２の合成と比較すると、メモリ１６０の必要容量を削減でき、メモリリークを抑制できる。
Therefore, the
また、部分領域ｐｄのサイズが小さい程、重複元画像ＯＯＧの枚数が削減され得る。したがって、部分領域ｐｄのサイズが小さい程、画像合成時においてもメモリ１６０の容量に余裕が生じ、無人航空機１００は、メモリリークを更に抑制できる。また、メモリ１６０の容量に余裕が生じる分、低容量のメモリ１６０が使用可能となる。
Further, the smaller the size of the partial region pd, the more the number of overlapping original images OOG can be reduced. Therefore, the smaller the size of the partial region pd, the more space is generated in the
次に、無人航空機１００の動作例について説明する。
Next, an operation example of the
図９は、無人航空機１００による動作例を示すフローチャートである。
FIG. 9 is a flowchart showing an operation example by the unmanned
まず、ＵＡＶ制御部１１０は、複数の元画像ＯＧを取得する（Ｓ１０１）。ＵＡＶ制御部１１０は、複数の元画像ＯＧを、ストレージ１７０から取得してよい。この元画像ＯＧは、例えば、端末８０の操作部８３により入力された、ユーザ所望の地理的な範囲に画像範囲が含まれる元画像ＯＧでよい。ＵＡＶ制御部１１０は、このユーザ所望の地理的な範囲の情報を、通信インタフェース１５０を介して端末８０から取得してよい。ＵＡＶ制御部１１０は、取得された元画像ＯＧに関する付加情報を取得する（Ｓ１０２）。ＵＡＶ制御部１１０は、付加情報を、メモリ１６０又はストレージ１７０から取得してよい。
First, the
ＵＡＶ制御部１１０は、付加情報に基づいて、複数の元画像ＯＧの画像範囲ＧＨを取得する（Ｓ１０３）。ＵＡＶ制御部１１０は、複数の元画像ＯＧについて付加情報に含まれる画像範囲ＧＨの情報をそのまま取得してよい。ＵＡＶ制御部１１０は、付加情報に含まれる飛行パラメータや撮像パラメータを基に、複数の元画像ＯＧの画像範囲ＧＨを算出してよい。
The
ＵＡＶ制御部１１０は、複数の元画像ＯＧの画像範囲ＧＨに基づいて、外接矩形領域Ｄ１２を算出する（Ｓ１０４）。ＵＡＶ制御部１１０は、外接矩形領域Ｄ１２に基づいて、包囲領域Ｄ１を決定する（Ｓ１０５）。ＵＡＶ制御部１１０は、包囲領域Ｄ１を分割し、複数の部分領域ｐｄを算出する（Ｓ１０６）。
The
ＵＡＶ制御部１１０は、取得された複数の元画像ＯＧから、複数の部分領域ｐｄのうちの部分領域ｐｄｘ（ｘ＝ａ，ｂ，・・・）と重複する１つ以上の重複元画像ＯＯＧｘを取得する（Ｓ１０７）。なお、ＵＡＶ制御部１１０は、複数の重複元画像ＯＯＧｘの一部を、部分領域ｐｄｘにおける画像合成の対象となる画像から除外してよい。
The
ＵＡＶ制御部１１０は、取得された重複元画像ＯＯＧｘを合成し、部分領域ｐｄｘにおける合成画像ＳＧ１ｘを生成する（Ｓ１０８）。
The
ＵＡＶ制御部１１０は、包囲領域Ｄ１における部分領域ｐｄｘの合成画像ＳＧ１ｘの生成が全て終了したか否かを判定する（Ｓ１０９）。Ｓ１０９において合成画像ＳＧ１ｘの生成が終了していない部分領域ｐｄｘが存在する場合、次の部分領域ｐｄｘについて、合成画像ＳＧ１ｘを生成するべく、Ｓ１０７に進む。
The
Ｓ１０９において全ての部分領域ｐｄｘにおける合成画像ＳＧ１ｘの生成が終了した場合、各部分領域ｐｄｘにおける各合成画像ＳＧ１ｘを合成し、合成画像ＳＧ２を生成する（Ｓ１１０）。 When the generation of the combined image SG1x in all the partial areas pdx is completed in S109, the combined images SG1x in the partial areas pdx are combined to generate a combined image SG2 (S110).
なお、Ｓ１０９及びＳ１１０の処理は、省略されてもよい。 Note that the processing of S109 and S110 may be omitted.
画像合成の元となる元画像ＯＧは、いずれかの無人航空機１００により空撮され得る。いずれかの無人航空機１００は、様々な条件下（例えば、雨天、曇天、強風等の天候）において空撮し、元画像ＯＧを得ることになるので、所望の撮像条件（例えば空撮方向、空撮位置、無人航空機１００の姿勢）で空撮することが困難となる場合がある。そのため、所定の範囲の画像を高精度に得るために、画像合成されることが考えられる。
The original image OG that is the basis of image composition can be taken aerial by any unmanned
図９の動作例によれば、無人航空機１００は、部分領域ｐｄ毎に合成画像ＳＧ１を生成する。例えば、無人航空機１００は、部分領域ｐｄに重複する重複元画像ＯＯＧを基に合成画像ＳＧ１を生成する。これにより、無人航空機１００は、包囲領域Ｄ１内の元画像ＯＧの全てを画像合成に用いる場合と比較すると、部分領域ｐｄにおける画像合成に用いる元画像ＯＧの枚数を削減できる。また、無人航空機１００は、ストレージ１７０からメモリ１６０へ読み込む元画像ＯＧの枚数も削減できる。したがって、無人航空機１００は、メモリ１６０において実施する画像合成の処理負荷を軽減でき、メモリリークを抑制できる。また、無人航空機１００は、画像合成における最適化処理の処理負荷も軽減でき、メモリリークを抑制でき、合成画質の劣化も抑制できる。
According to the operation example of FIG. 9, the unmanned
また、無人航空機１００は、合成画像ＳＧ１を合成して合成画像ＳＧ２を生成することで、包囲領域Ｄ１全体の合成画像ＳＧ２を得ることができる。よって、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合と同じ領域の合成画像ＳＧ２を得ることができる。また、合成画像ＳＧ２を生成する際には、画像合成の元となる合成画像ＳＧ１の枚数は部分領域ｐｄの数と同じである。この数は、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合の画像合成に用いる枚数よりも通常は少なくなる。よって、無人航空機１００は、包囲領域Ｄ１全体の合成画像ＳＧ２を生成可能であるとともに、メモリ１６０を用いた画像合成の処理負荷を低減でき、メモリリークを抑制できる。
Further, the
なお、図９では、部分領域ｐｄにおける合成画像ＳＧ１が順次生成されることを例示したが、部分領域ｐｄにおける合成画像ＳＧ１が並列処理で生成されてもよい。この場合、無人航空機１００は、合成画像ＳＧ１を順次生成するよりも、合成画像ＳＧ１の生成効率を向上でき、合成画像ＳＧ１の生成に要する時間を短縮できる。
Although FIG. 9 illustrates that the composite image SG1 in the partial region pd is sequentially generated, the composite image SG1 in the partial region pd may be generated by parallel processing. In this case, the
なお、ＵＡＶ制御部１１０は、無人航空機１００の飛行中に、過去に空撮されストレージ１７０に保持された元画像ＯＧを基に、合成画像ＳＧ１，ＳＧ２を生成してもよい。
Note that the
本実施形態の画像合成は、端末８０により実施されてもよい。この場合、端末８０の端末制御部８１が、無人航空機１００のＵＡＶ制御部１１０が有する画像合成に関する機能と同様の機能を有する。端末制御部８１は、処理部の一例である。端末制御部８１は、空撮画像の合成に関する処理を行う。なお、端末制御部８１による空撮画像の合成に関する処理において、ＵＡＶ制御部１１０が行う空撮画像の合成に関する処理と同様の処理については、その説明を省略又は簡略化する。この場合、端末制御部８１は、画像合成アプリケーションを実行してよい。画像合成アプリケーションは、空撮画像を合成するためのアプリケーションでよい。
The image composition of this embodiment may be performed by the terminal 80. In this case, the
図１０は、端末８０による動作例を示すフローチャートである。 FIG. 10 is a flowchart showing an operation example by the terminal 80.
まず、端末制御部８１は、複数の元画像ＯＧを取得する（Ｓ２０１）。端末制御部８１は、複数の元画像ＯＧを、メモリ８７又はストレージ８９から取得してよい。この元画像ＯＧは、例えば、端末８０の操作部８３により入力された、ユーザ所望の地理的な範囲に画像範囲が含まれる元画像ＯＧでよい。端末制御部８１は、取得された元画像ＯＧに関する付加情報を取得する（Ｓ２０２）。端末制御部８１は、付加情報を、メモリ８７又はストレージ８９から取得してよい。
First, the
端末制御部８１は、付加情報に基づいて、複数の元画像ＯＧの画像範囲ＧＨを取得する（Ｓ２０３）。端末制御部８１は、複数の元画像ＯＧについて付加情報に含まれる画像範囲ＧＨの情報をそのまま取得してよい。端末制御部８１は、付加情報に含まれる飛行パラメータや撮像パラメータを基に、複数の元画像ＯＧの画像範囲ＧＨを算出してよい。
The
端末制御部８１は、複数の元画像ＯＧの画像範囲ＧＨに基づいて、外接矩形領域Ｄ１２を算出する（Ｓ２０４）。端末制御部８１は、外接矩形領域Ｄ１２に基づいて、包囲領域Ｄ１を決定する（Ｓ２０５）。端末制御部８１は、包囲領域Ｄ１を分割し、複数の部分領域ｐｄを算出する（Ｓ２０６）。
The
端末制御部８１は、取得された複数の元画像ＯＧのうち、複数の部分領域ｐｄのうちの部分領域ｐｄｘ（ｘ＝ａ，ｂ，・・・）と重複する１つ以上の重複元画像ＯＯＧｘを取得する（Ｓ２０７）。なお、端末制御部８１は、複数の重複元画像ＯＯＧｘの一部を、部分領域ｐｄｘにおける画像合成の対象となる画像から除外してよい。
The
端末制御部８１は、取得された重複元画像ＯＯＧｘを合成し、部分領域ｐｄｘにおける合成画像ＳＧ１ｘを生成する（Ｓ２０８）。
The
端末制御部８１は、包囲領域Ｄ１における部分領域ｐｄｘの合成画像ＳＧ１ｘの生成が全て終了したか否かを判定する（Ｓ２０９）。Ｓ２０９において合成画像ＳＧ１ｘの生成が終了していない部分領域ｐｄｘが存在する場合、次の部分領域ｐｄｘについて、合成画像ＳＧ１ｘを生成するべく、Ｓ２０７に進む。
The
Ｓ２０９において全ての部分領域ｐｄｘにおける合成画像ＳＧ１ｘの生成が終了した場合、各部分領域ｐｄｘにおける各合成画像ＳＧ１ｘを合成し、合成画像ＳＧ２を生成する（Ｓ２１０）。 When the generation of the combined image SG1x in all the partial areas pdx is completed in S209, the combined images SG1x in the partial areas pdx are combined to generate a combined image SG2 (S210).
なお、Ｓ２０９及びＳ２１０の処理は、省略されてもよい。 Note that the processing of S209 and S210 may be omitted.
図１０の動作例によれば、端末８０は、部分領域ｐｄ毎に合成画像ＳＧ１を生成する。例えば、端末８０は、部分領域ｐｄに重複する重複元画像ＯＯＧを基に合成画像ＳＧ１を生成する。これにより、端末８０は、包囲領域Ｄ１内の元画像ＯＧの全てを画像合成に用いる場合と比較すると、部分領域ｐｄにおける画像合成に用いる元画像ＯＧの枚数を削減できる。また、端末８０は、ストレージ８９からメモリ８７へ読み込む元画像ＯＧの枚数も削減できる。したがって、端末８０は、メモリ８７において実施する画像合成の処理負荷を軽減でき、メモリリークを抑制できる。また、端末８０は、画像合成における最適化処理の処理負荷も軽減でき、メモリリークを抑制でき、合成画質の劣化も抑制できる。
According to the operation example of FIG. 10, the terminal 80 generates a composite image SG1 for each partial region pd. For example, the terminal 80 generates the composite image SG1 based on the overlapping original image OOG that overlaps the partial region pd. Thereby, the terminal 80 can reduce the number of original images OG used for image composition in the partial region pd, as compared with the case where all of the original images OG in the surrounding region D1 are used for image composition. The terminal 80 can also reduce the number of original images OG read from the
また、端末８０は、合成画像ＳＧ１を合成して合成画像ＳＧ２を生成することで、包囲領域Ｄ１全体の合成画像ＳＧ２を得ることができる。よって、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合と同じ領域の合成画像ＳＧ２を得ることができる。また、合成画像ＳＧ２を生成する際には、画像合成の元となる合成画像ＳＧ１の枚数は部分領域ｐｄの数と同じである。この数は、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合の画像合成に用いる枚数よりも通常は少なくなる。よって、端末８０は、包囲領域Ｄ１全体の合成画像ＳＧ２を生成可能であるとともに、メモリ８７を用いた画像合成の処理負荷を低減でき、メモリリークを抑制できる。
Further, the terminal 80 can obtain the composite image SG2 of the entire surrounding region D1 by combining the composite image SG1 to generate the composite image SG2. Therefore, it is possible to obtain a composite image SG2 in the same region as that in the case of performing image composition without taking the partial region pd into consideration in the surrounding region D1. Further, when the composite image SG2 is generated, the number of composite images SG1 that are the basis of image composition is the same as the number of partial regions pd. This number is usually smaller than the number used for image composition when image composition is performed without taking into account the partial region pd in the surrounding region D1. Therefore, the terminal 80 can generate the composite image SG2 of the entire surrounding region D1, can reduce the processing load of image synthesis using the
なお、図１０では、部分領域ｐｄにおける合成画像ＳＧ１が順次生成されることを例示したが、部分領域ｐｄにおける合成画像ＳＧ１が並列処理で生成されてもよい。この場合、端末８０は、合成画像ＳＧ１を順次生成するよりも、合成画像ＳＧ１の生成効率を向上でき、合成画像ＳＧ１の生成に要する時間を短縮できる。 Note that although FIG. 10 illustrates that the composite image SG1 in the partial region pd is sequentially generated, the composite image SG1 in the partial region pd may be generated by parallel processing. In this case, the terminal 80 can improve the generation efficiency of the composite image SG1 and can reduce the time required to generate the composite image SG1, rather than sequentially generating the composite image SG1.
（第２の実施形態）
第１の実施形態では、無人航空機又は端末が、過去に空撮された空撮画像を基に画像合成を行うことを例示した。第２の実施形態では、無人航空機が、飛行しながら空撮し、空撮画像を基に画像合成することを例示する。なお、第２の実施形態において、第１の実施形態と同様の構成や動作については、説明を省略又は簡略化する。
(Second Embodiment)
In the first embodiment, it is exemplified that the unmanned aircraft or the terminal performs image composition based on the aerial image captured in the past. The second embodiment exemplifies that an unmanned aircraft takes an aerial image while flying and synthesizes an image based on an aerial image. Note that in the second embodiment, the description of the same configuration and operation as in the first embodiment will be omitted or simplified.
図１１は、第２の実施形態における画像合成システム１０Ａの構成例を示す模式図である。画像合成システム１０Ａは、無人航空機１００Ａ及び端末８０を備える。無人航空機１００Ａ及び端末８０は、相互に有線通信又は無線通信（例えば無線ＬＡＮ）により通信可能である。
FIG. 11 is a schematic diagram illustrating a configuration example of an
無人航空機１００Ａは、所定の空撮経路に従って飛行してよい。無人航空機１００Ａは、所定の空撮位置において空撮し、空撮画像を得る。無人航空機１００Ａは、複数の空撮画像の画像範囲を包囲する包囲領域を算出し、包囲領域を複数の部分領域に分割する。無人航空機１００Ａは、部分領域毎に、複数の空撮画像を合成し、合成画像を生成する。
Unmanned
図１２は、無人航空機１００Ａのハードウェア構成の一例を示すブロック図である。無人航空機１００Ａは、第１の実施形態における無人航空機１００と比較すると、ＵＡＶ制御部１１０の代わりにＵＡＶ制御部１１０Ａを備える。なお、図１２の無人航空機１００Ａにおいて、図３に示した無人航空機１００の構成と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。
FIG. 12 is a block diagram illustrating an example of a hardware configuration of the
ＵＡＶ制御部１１０Ａは、画像合成に関する機能を有する。ＵＡＶ制御部１１０Ａは、処理部の一例である。なお、第１の実施形態における無人航空機１００のＵＡＶ制御部１１０が有する画像合成に関する機能と同様の機能については、その説明を省略又は簡略化する。ＵＡＶ制御部１１０Ａは、空撮画像の合成に関する処理を実行する。
The
ＵＡＶ制御部１１０Ａは、空撮経路に従って飛行してよい。ＵＡＶ制御部１１０Ａは、飛行前に定められた空撮経路の情報をメモリ１６０やストレージ１７０から取得してもよいし、飛行中に空撮経路を生成してもよい。
The
ＵＡＶ制御部１１０Ａは、空撮位置において撮像部２２０又は撮像部２３０に画像を空撮させ、空撮画像を得てよい。この空撮画像は、画像合成の元となる画像（元画像）となる。ＵＡＶ制御部１１０Ａは、飛行前に定められた空撮位置の情報をメモリ１６０やストレージ１７０から取得してもよいし、飛行中に空撮位置を決定してもよい。
The
ＵＡＶ制御部１１０Ａは、撮像部２２０又は撮像部２３０により空撮された複数の元画像ＯＧを基に、合成画像ＳＧ１を生成してよい。この場合、ＵＡＶ制御部１１０Ａは、飛行中に、合成画像ＳＧ１を生成してよい。合成画像ＳＧ１の生成方法は、第１の実施形態と同じでよい。
The
撮像部２２０又は撮像部２３０に空撮させる元画像ＯＧの画像範囲ＧＨは、各種の撮像パラメータや飛行パラメータを基に定められてよい。ＵＡＶ制御部１１０Ａは、撮像パラメータや飛行パラメータに基づいて、元画像ＯＧの画像範囲ＧＨを決定してよい。撮像パラメータや飛行パラメータは、無人航空機１００Ａのメモリ１６０又はストレージ１７０に保持されていてもよいし、端末８０の操作部８３により入力され、端末８０から取得されてよい。
The image range GH of the original image OG that is imaged by the
撮像パラメータは、空撮予定の元画像ＯＧが空撮される際の撮像部２２０又は撮像部２３０の画角ＦＯＶ、空撮方向、撮像部２２０の姿勢、ジンバル２００の回転角度、等の情報を含んでよい。飛行パラメータは、空撮予定の元画像ＯＧが空撮される空撮位置（例えば緯度、経度、高度）、空撮位置を通る空撮経路、等の情報を含んでよい。
The imaging parameters include information such as the angle of view FOV of the
また、撮像パラメータは、空撮予定の元画像ＯＧのサイズ（画像範囲ＧＨの大きさ）、部分領域ｐｄにおける空撮枚数ｋ、等の情報を含んでもよい。元画像ＯＧのサイズは、矩形の部分領域ｐｄの１辺の長さｌにより示されてよい。空撮枚数ｋは、部分領域ｐｄと重複する重複元画像ＯＯＧの枚数と一致してよい。撮像パラメータは、空撮位置間隔ｄ、空撮距離Ｌ、等の情報を含んでよい。空撮位置間隔ｄは、隣り合う空撮位置の間隔でよい。空撮距離Ｌは、撮像部２２０又は撮像部２３０から被写体（例えば地面）までの距離でよく、空撮高度で示されてよい。撮像パラメータは、元画像ＯＧの画像範囲ＧＨの重複率ｏｒ、元画像ＯＧの画像範囲ＧＨの幅ｗ、元画像ＯＧの解像度ｒ、等の情報を含んでよい。重複率ｏｒは、例えば、元画像ＯＧの画像範囲ＧＨに対する、隣り合う元画像ＯＧの画像範囲ＧＨが重複する重複部分の割合により示されてよい。元画像ＯＧの画像範囲ＧＨの幅ｗは、例えば正方形の画像範囲ＧＨの１辺の長さでよい。
The imaging parameters may include information such as the size of the original image OG scheduled for aerial photography (the size of the image range GH) and the number of aerial photographs k in the partial region pd. The size of the original image OG may be indicated by the length l of one side of the rectangular partial region pd. The number of aerial images k may match the number of overlapping original images OOG that overlap with the partial region pd. The imaging parameters may include information such as the aerial shooting position interval d and the aerial shooting distance L. The aerial shooting position interval d may be an interval between adjacent aerial shooting positions. The aerial shooting distance L may be a distance from the
なお、解像度ｒは、固定であっても可変であってもよい。つまり、撮像部２２０又は撮像部２３０による元画像ＯＧの空撮時の解像度ｒは、予め設定されて設定情報がメモリ１６０等に保持されていてもよいし、ＵＡＶ制御部１１０Ａにより適宜変更されてもよい。
Note that the resolution r may be fixed or variable. That is, the resolution r at the time of aerial shooting of the original image OG by the
ＵＡＶ制御部１１０Ａは、空撮予定の元画像ＯＧを空撮する無人航空機１００Ａの飛行パラメータ及び撮像パラメータの全部又は一部を、メモリ１６０又はストレージ１７０から読み出し、取得してよい。ＵＡＶ制御部１１０は、空撮予定の元画像ＯＧを空撮する無人航空機１００の飛行パラメータ及び撮像パラメータの全部又は一部を、通信インタフェース１５０を介して受信し、取得してよい。例えば、端末８０の操作部８３を介して入力された飛行パラメータ及び撮像パラメータの全部又は一部が、通信インタフェース１５０を介して、端末８０から取得されてよい。
The
これにより、無人航空機１００は、空撮予定の元画像ＯＧを空撮するための飛行パラメータや撮像パラメータを基に、元画像ＯＧが空撮される地理的な範囲を把握することができる。
Thereby, the unmanned
ＵＡＶ制御部１１０は、未だ空撮されていない空撮予定の飛行パラメータ及び撮像パラメータの少なくとも１つに基づいて、複数の空撮予定の元画像ＯＧの画像範囲ＧＨを算出してよい。そして、ＵＡＶ制御部１１０は、複数の空撮予定の元画像ＯＧの画像範囲ＧＨを包囲する包囲領域Ｄ１を算出してよい。つまり、ＵＡＶ制御部１１０Ａは、元画像ＯＧが存在しない段階でも、飛行パラメータや撮像パラメータを基に、複数の元画像ＯＧの画像範囲ＧＨや包囲領域Ｄ１を推定できる。
The
また、端末８０では、端末制御部８１が、操作部８３を介して、空撮予定の元画像ＯＧを空撮する無人航空機１００Ａの飛行パラメータ及び撮像パラメータの一部を入力してよい。端末制御部８１は、入力された飛行パラメータ及び撮像パラメータの一部を、通信部８５を介して無人航空機１００Ａへ送信してよい。無人航空機１００Ａでは、ＵＡＶ制御部１１０Ａは、通信部８５を介して、空撮予定の元画像ＯＧを空撮する無人航空機１００Ａの飛行パラメータ及び撮像パラメータの一部を受信してよい。ＵＡＶ制御部１１０Ａは、受信された無人航空機１００Ａの飛行パラメータ及び撮像パラメータの一部の情報を基に、飛行パラメータ及び撮像パラメータの他の一部の情報を算出してもよい。
In the terminal 80, the
図１３は、飛行パラメータ及び撮像パラメータの算出例を説明するための図である。 FIG. 13 is a diagram for explaining an example of calculating flight parameters and imaging parameters.
図１３では、例えば、１台の無人航空機１００Ａが飛行して画像を空撮する場合に、各空撮位置での空撮に係る撮像パラメータ及び飛行パラメータの一部を示している。図１３に示すように、無人航空機１００は、飛行高度が変化してよく、つまり空撮高度が変化してよい。
In FIG. 13, for example, when one
飛行パラメータ及び撮像パラメータは、複数のパラメータを有し、それぞれのパラメータは相互に関係している。そのため、ＵＡＶ制御部１１０Ａは、一部のパラメータが決定されている場合、他の一部のパラメータを算出可能である。
The flight parameter and the imaging parameter have a plurality of parameters, and the parameters are related to each other. Therefore, the
一例として、空撮位置間隔ｄと、空撮距離Ｌと、元画像ＯＧを空撮する撮像部２２０又は撮像部２３０の画角ＦＯＶ（Field of View）と、元画像ＯＧの画像範囲ＧＨの重複率ｏｒとは、以下の式（１）の関係を有してよい。
ｄ＝Ｌ＊ＦＯＶ＊（１−ｏｒ） ・・・（１）
なお、「＊」は乗算符号を示す。
As an example, overlap between the aerial shooting position interval d, the aerial shooting distance L, the angle of view FOV (Field of View) of the
d = L * FOV * (1-or) (1)
Note that “*” indicates a multiplication code.
また、空撮位置間隔ｄと、矩形（例えば正方形）の部分領域ｐｄの１辺の長さｌと、部分領域ｐｄにおける空撮枚数ｋとは、以下の式（２）の関係を有してよい。
ｄ＝ｌ／ｋ ・・・（２）
The aerial shooting position interval d, the length l of one side of a rectangular (for example, square) partial area pd, and the number of aerial shots k in the partial area pd have the relationship of the following equation (2). Good.
d = 1 / k (2)
また、空撮位置間隔ｄと、元画像ＯＧの画像範囲ＧＨの重複率ｏｒと、元画像ＯＧの画像範囲ＧＨの幅ｗと、元画像ＯＧの解像度ｒとは、以下の式（３）の関係を有してよい。
ｄ＝ｒ＊ｗ＊（１−ｏｒ） ・・・（３）
Further, the aerial shooting position interval d, the overlapping rate or of the image range GH of the original image OG, the width w of the image range GH of the original image OG, and the resolution r of the original image OG are expressed by the following equation (3). You may have a relationship.
d = r * w * (1-or) (3)
端末８０の操作部８３は、ユーザ操作を受け付け、撮像パラメータ及び飛行パラメータの少なくとも１つを入力してよい。例えば、操作部８３は、式（１）〜式（３）に含まれるパラメータの少なくとも一部を入力してよい。無人航空機１００Ａでは、ＵＡＶ制御部１１０Ａは、通信インタフェース１５０を介して、この端末８０からパラメータの少なくとも一部を受信してよい。ＵＡＶ制御部１１０Ａは、端末８０から取得した撮像パラメータ及び飛行パラメータの一部を基に、撮像パラメータ及び飛行パラメータの他の一部を算出してよい。例えば、ＵＡＶ制御部１１０Ａは、端末８０から取得した式（１）〜式（３）に含まれるパラメータの一部を基に、式（１）〜式（３）に含まれるパラメータの他の一部の値を算出してよい。ＵＡＶ制御部１１０は、算出されたパラメータの他の一部の値を基に、空撮位置や空撮経路を生成したり、無人航空機１００の飛行を制御したり、撮像部２２０又は撮像部２３０による空撮を制御してよい。
The
例えば、端末８０の操作部８３が、式（１）における空撮位置間隔ｄ、撮像部２２０又は撮像部２３０の画角ＦＯＶ、重複率ｏｒの値を入力してよい。ＵＡＶ制御部１１０は、入力された空撮位置間隔ｄ、撮像部２２０又は撮像部２３０の画角ＦＯＶ、重複率ｏｒの値を端末から取得し、式（１）を基に、空撮距離Ｌとしての空撮高度を算出してよい。ＵＡＶ制御部１１０は、算出された空撮高度を通過するように、空撮位置を決定してよい。なお、空撮距離Ｌ以外のパラメータである空撮位置間隔ｄ、撮像部２２０又は撮像部２３０の画角ＦＯＶ、又は重複率ｏｒが、操作部８３を介して入力されたパラメータの値に基づいて、算出されてもよい。
For example, the
例えば、端末８０の操作部８３が、式（２）における矩形の部分領域ｐｄの１辺の長さｌ、部分領域ｐｄにおける空撮枚数ｋ、の値を入力してよい。ＵＡＶ制御部１１０は、入力された矩形の部分領域ｐｄの１辺の長さｌ、部分領域ｐｄにおける空撮枚数ｋの値を端末８０から取得し、式（２）を基に、空撮位置間隔ｄを算出してよい。ＵＡＶ制御部１１０は、隣り合う空撮位置の間隔が、算出された空撮位置間隔ｄとなるように、各空撮位置を決定してよい。なお、空撮位置間隔ｄ以外のパラメータである矩形の部分領域ｐｄの１辺の長さｌ、又は部分領域ｐｄにおける空撮枚数ｋが、操作部８３を介して入力されたパラメータの値に基づいて、算出されてもよい。
For example, the
例えば、端末８０の操作部８３が、式（３）における元画像ＯＧの画像範囲ＧＨの重複率ｏｒ、元画像ＯＧの画像範囲ＧＨの幅ｗ、元画像ＯＧの解像度ｒ、の値を入力してよい。ＵＡＶ制御部１１０は、元画像ＯＧの画像範囲ＧＨの重複率ｏｒ、元画像ＯＧの画像範囲ＧＨの幅ｗ、元画像ＯＧの解像度ｒ、の値を端末８０から取得し、式（３）を基に、空撮位置間隔ｄを算出してよい。ＵＡＶ制御部１１０は、隣り合う空撮位置の間隔が、算出された空撮位置間隔ｄとなるように、各空撮位置を決定してよい。なお、空撮位置間隔ｄ以外のパラメータである元画像ＯＧの画像範囲ＧＨの重複率ｏｒ、元画像ＯＧの画像範囲ＧＨの幅ｗ、又は元画像ＯＧの解像度ｒが、操作部８３を介して入力されたパラメータの値に基づいて、算出されてもよい。
For example, the
また、式（１）〜式（３）の少なくとも２つを組み合わせて、ＵＡＶ制御部１１０Ａが、飛行パラメータや撮像パラメータの少なくとも一部を算出してもよい。例えば、ＵＡＶ制御部１１０Ａは、操作部８３を介して入力された矩形の部分領域ｐｄの１辺の長さｌ、部分領域ｐｄにおける空撮枚数ｋ、等の値を基に、空撮距離Ｌとしての空撮高度を決定してもよい。
Further, the
このように、ＵＡＶ制御部１１０Ａは、端末８０により入力された撮像パラメータ及び飛行パラメータの一部の情報を、通信インタフェース１５０等を介して取得してよい。ＵＡＶ制御部１１０Ａは、取得された撮像パラメータ及び飛行パラメータの一部の情報を基に、撮像パラメータ及び飛行パラメータの他の一部の情報（例えば空撮位置や空撮経路）を生成してよい。これにより、ユーザがどのような合成画像ＳＧ１を生成したいかを反映した入力を端末８０の操作部８３を介して行うことで、ユーザ所望の合成画像ＳＧ１の元となる元画像ＯＧを空撮可能となる。
As described above, the
また、ＵＡＶ制御部１１０Ａは、無人航空機１００Ａの飛行中であっても、端末８０により入力された撮像パラメータの一部を取得し、この取得された値に基づいて空撮位置や空撮経路を生成してもよい。これにより、無人航空機１００Ａは、予め定められた空撮位置や空撮経路に従って飛行中でも、撮像パラメータ及び飛行パラメータの他の一部の情報（例えば空撮位置や空撮経路）を変更できる。つまり、無人航空機１００Ａは、画像合成を考慮した飛行パラメータや撮像パラメータの入力情報に基づいて、無人航空機１００Ａの飛行や撮像部２３０による空撮条件（例えば空撮方向、解像度、重複率）をリアルタイムに制御できる。
Further, the
図１４は、端末８０による撮像パラメータや飛行パラメータの入力例を示す図である。
図１４では、操作部８３に、指ＦＧを用いて、部分領域ｐｄのサイズ、部分領域ｐｄにおける空撮枚数ｋ、空撮高度（空撮距離Ｌ）、空撮画角（画角ＦＯＶ）、空撮方向、が入力され、表示部８８に表示されていることを例示している。他のパラメータが入力されてもよい。端末制御部８１は、通信部８５を介して、入力された撮像パラメータや飛行パラメータを無人航空機１００Ａへ送信してよい。なお、端末８０は、入力装置の一例である。
FIG. 14 is a diagram illustrating an input example of imaging parameters and flight parameters by the terminal 80.
In FIG. 14, the size of the partial region pd, the number of aerial images k in the partial region pd, the aerial shooting altitude (aerial shooting distance L), the aerial shooting angle of view (viewing angle FOV), The aerial shooting direction is input and displayed on the
これにより、無人航空機１００Ａは、端末８０により入力された撮像パラメータや飛行パラメータを取得できる。したがって、ユーザは、撮像パラメータや飛行パラメータを入力することで、撮像パラメータ及び飛行パラメータに基づく飛行条件及び空撮条件を指定可能である。これにより、無人航空機１００Ａは、ユーザ所望の飛行条件により飛行可能となり、ユーザ所望の空撮条件により空撮可能となる。また、無人航空機１００Ａは、指定された飛行条件や空撮条件に従って空撮することで、ユーザ所望の地理的な範囲を、元画像ＯＧの画像範囲ＧＨにできる。
Thereby, unmanned
次に、画像合成システム１０Ａの動作例について説明する。
Next, an operation example of the
図１５は、無人航空機１００Ａによる動作例を示すフローチャートである。
FIG. 15 is a flowchart illustrating an operation example of the
まず、ＵＡＶ制御部１１０Ａは、飛行パラメータ及び撮像パラメータを取得する（Ｓ３０１）。ここでは、ＵＡＶ制御部１１０Ａは、メモリ１６０やストレージ１７０に保持された飛行パラメータ及び撮像パラメータをそのまま取得してよい。また、ＵＡＶ制御部１１０Ａは、端末８０での操作部８３を介した入力情報に基づいて飛行パラメータ及び撮像パラメータの一部を算出することで、飛行パラメータ及び撮像パラメータを取得してよい。
First, the
ＵＡＶ制御部１１０Ａは、取得された飛行パラメータ及び撮像パラメータに基づいて、撮像部２２０又は撮像部２３０により空撮予定の元画像ＯＧの画像範囲ＧＨを算出する（Ｓ３０２）。ＵＡＶ制御部１１０Ａは、各空撮位置で空撮予定の複数の元画像ＯＧの画像範囲ＧＨを基に、外接矩形領域Ｄ１２を算出する（Ｓ３０３）。ＵＡＶ制御部１１０Ａは、外接矩形領域Ｄ１２を基に、包囲領域Ｄ１を決定する（Ｓ３０４）。ＵＡＶ制御部１１０Ａは、包囲領域Ｄ１を分割し、複数の部分領域ｐｄを算出する（Ｓ３０５）。
The
ＵＡＶ制御部１１０Ａは、飛行パラメータに従って無人航空機１００Ａの飛行を制御し、撮像パラメータに従って空撮位置において空撮する（Ｓ３０６）。
The
ＵＡＶ制御部１１０Ａは、複数の部分領域ｐｄのうち、いずれかの部分領域ｐｄｘ（ｘ＝ａ，ｂ，・・・）における各空撮位置での空撮が完了したかを判定する（Ｓ３０７）。いずれの部分領域ｐｄｘにおいても各空撮位置での空撮が完了していない場合、ＵＡＶ制御部１１０Ａは、引き続き各空撮位置での空撮を継続すべく、Ｓ３０６に進む。なお、部分領域ｐｄｘは、第３の部分領域の一例である。
The
いずれかの部分領域ｐｄｘ（ｘ＝ａ，ｂ，・・・）における各空撮位置での空撮が完了した場合、ＵＡＶ制御部１１０Ａは、各空撮位置での空撮が完了した部分領域ｐｄｘにおいて空撮された複数の元画像ＯＧを基に、合成画像ＳＧ１を生成する（Ｓ３０８）。具体的には、ＵＡＶ制御部１１０Ａは、空撮された複数の元画像ＯＧから、各空撮位置での空撮が完了した部分領域ｐｄｘと重複する１つ以上の重複元画像ＯＯＧｘを取得する。なお、ＵＡＶ制御部１１０Ａは、複数の重複元画像ＯＯＧｘの一部を、部分領域ｐｄｘにおける画像合成の対象となる画像から除外してよい。ＵＡＶ制御部１１０Ａは、取得された重複元画像ＯＯＧｘを合成し、部分領域ｐｄｘにおける合成画像ＳＧ１ｘを生成する。
When the aerial shooting at each aerial shooting position in any partial area pdx (x = a, b,...) Is completed, the
ＵＡＶ制御部１１０Ａは、包囲領域Ｄ１における各空撮位置での空撮が完了したか否かを判定する（Ｓ３０９）。つまり、ＵＡＶ制御部１１０Ａは、空撮予定の空撮が全て終了したか否かを判定する。包囲領域Ｄ１における各空撮位置での空撮が完了していない場合、ＵＡＶ制御部１１０Ａは、引き続き各空撮位置での空撮を継続すべく、Ｓ３０６に進む。
The
包囲領域Ｄ１における各空撮位置での空撮が完了した場合、各部分領域ｐｄｘにおいて得られた各合成画像ＳＧ１を合成し、合成画像ＳＧ２を生成する（Ｓ３１０）。なお、Ｓ３１０の処理は、省略されてもよい。 When the aerial shooting at each aerial shooting position in the surrounding area D1 is completed, the synthesized images SG1 obtained in the partial areas pdx are synthesized to generate a synthesized image SG2 (S310). Note that the process of S310 may be omitted.
図１５の動作例によれば、無人航空機１００Ａは、飛行中に画像を空撮して元画像ＯＧを得て、元画像ＯＧを基に、部分領域ｐｄ毎に合成画像ＳＧ１を生成する。例えば、無人航空機１００Ａは、部分領域ｐｄに重複する重複元画像ＯＯＧを基に合成画像ＳＧ１を生成する。これにより、無人航空機１００Ａは、包囲領域Ｄ１内の元画像ＯＧの全てを画像合成に用いる場合と比較すると、部分領域ｐｄにおける画像合成に用いる元画像ＯＧの枚数を削減できる。また、無人航空機１００Ａは、ストレージ１７０からメモリ１６０へ読み込む元画像ＯＧの枚数も削減できる。したがって、無人航空機１００Ａは、メモリ１６０において実施する画像合成の処理負荷を軽減でき、メモリリークを抑制できる。また、無人航空機１００Ａは、画像合成における最適化処理の処理負荷も軽減でき、メモリリークを抑制でき、合成画質の劣化も抑制できる。
According to the operation example of FIG. 15, the unmanned
また、無人航空機１００Ａは、合成画像ＳＧ１を合成して合成画像ＳＧ２を生成することで、包囲領域Ｄ１全体の合成画像ＳＧ２を得ることができる。よって、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合と同じ領域の合成画像ＳＧ２を得ることができる。また、合成画像ＳＧ２を生成する際には、画像合成の元となる合成画像ＳＧ１の枚数は部分領域ｐｄの数と同じである。この数は、包囲領域Ｄ１において部分領域ｐｄを加味せずに画像合成を行う場合の画像合成に用いる枚数よりも通常は少なくなる。よって、無人航空機１００Ａは、包囲領域Ｄ１全体の合成画像ＳＧ２を生成可能であるとともに、メモリ１６０を用いた画像合成の処理負荷を低減でき、メモリリークを抑制できる。
The unmanned
また、無人航空機１００Ａは、飛行中に、部分領域ｐｄにおける合成画像ＳＧ１を生成してよい。無人航空機１００Ａは、飛行中に、合成画像ＳＧ１を合成して合成画像ＳＧ２を生成してよい。これにより、無人航空機１００Ａは、空撮された元画像ＯＧを基に、迅速に合成画像ＳＧ１や合成画像ＳＧ２を生成できる。また、例えば、ＵＡＶ制御部１１０Ａが、通信インタフェース１５０を介して端末８０に送信することで、端末８０の端末制御部８１が、通信部８５を介して合成画像ＳＧ１、ＳＧ２を取得でき、表示部８８を介して合成画像ＳＧ１，ＳＧ２を表示できる。よって、ユーザは、空撮直後の元画像ＯＧに基づく合成画像ＳＧ１，ＳＧ２を、迅速に確認できる。
In addition, the
また、無人航空機１００Ａは、部分領域ｐｄに含まれる各空撮位置での空撮が完了次第、合成画像ＳＧ１を生成することで、包囲領域Ｄ１に含まれる各空撮位置での空撮が完了してから合成画像ＳＧ１を生成する場合と比較すると、合成画像ＳＧ１の生成タイミングを更に早めることができる。したがって、合成画像ＳＧ１の生成に係るリアルタイム性が更に向上する。
The
なお、図１５では、空撮方向が重力方向又は重力方向に近く、部分領域ｐｄｘに存在する空撮位置で空撮された元画像ＯＧの画像範囲ＧＨは、部分領域ｐｄｘと重畳することを想定した。つまり、ＵＡＶ制御部１１０Ａが、部分領域ｐｄｘに含まれる各空撮位置における空撮の完了を基に、部分領域ｐｄｘの合成画像ＳＧ１を生成することを想定した。この代わりに、元画像ＯＧの画像範囲ＧＨが、その空撮位置が存在する部分領域ｐｄｘと重複しない場合、部分領域ｐｄｘと画像範囲ＧＨとの位置関係を基に、合成画像ＳＧ１を生成してもよい。つまり、ＵＡＶ制御部１１０Ａが、部分領域ｐｄｘに含まれる各画像範囲ＧＨの元画像ＯＧの空撮が完了したことを基に、部分領域ｐｄｘの合成画像ＳＧ１を生成してもよい。
In FIG. 15, it is assumed that the aerial shooting direction is the gravity direction or close to the gravity direction, and the image range GH of the original image OG taken aerial at the aerial shooting position existing in the partial region pdx is overlapped with the partial region pdx. did. That is, it is assumed that the
これにより、無人航空機１００Ａは、空撮予定の空撮方向（撮像パラメータに含まれる空撮方向）が重力方向から傾いていても、部分領域ｐｄｘと重複する画像範囲ＧＨの元画像ＯＧが空撮された際に、合成画像ＳＧ１を生成できる。よって、無人航空機１００Ａは、部分領域ｐｄｘの合成画像ＳＧ１の生成準備が整い次第、迅速に合成画像ＳＧ１を生成可能であり、画像合成のリアルタイム性を向上できる。
As a result, the
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。 As mentioned above, although this indication was explained using an embodiment, the technical scope of this indication is not limited to the range as described in an embodiment mentioned above. It will be apparent to those skilled in the art that various modifications and improvements can be made to the embodiment described above. It is also apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present disclosure.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. ”And the like, and can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. is not.
１０，１０Ａ 画像合成システム
８０ 端末
８１ 端末制御部
８３ 操作部
８５ 通信部
８７ メモリ
８８ 表示部
８９ ストレージ
１００，１００Ａ 無人航空機
１１０，１１０Ａ ＵＡＶ制御部
１５０ 通信インタフェース
１６０ メモリ
１７０ ストレージ
２００ ジンバル
２１０ 回転翼機構
２２０，２３０ 撮像部
２４０ ＧＰＳ受信機
２５０ 慣性計測装置
２６０ 磁気コンパス
２７０ 気圧高度計
２８０ 超音波センサ
２９０ レーザー測定器
ｄ 空撮位置間隔
Ｄ１ 包囲領域
Ｄ１１ 地図領域
Ｄ１２ 外接矩形領域
ＦＯＶ 画角
ＧＨ 画像範囲
Ｌ 空撮距離
ＯＧ，ＯＧ１ 元画像
ＯＯＧ 重複元画像
ｐｄ，ｐｄ１，ｐｄ２，ｐｄ３ 部分領域
ｗ 画像範囲の幅
10, 10A
Claims (26)
前記空撮画像の合成に関する処理を行う処理部を備え、
前記処理部は、
異なる画像範囲を有する複数の第１の空撮画像を取得し、
複数の前記第１の空撮画像の前記画像範囲を包囲する第１の領域を取得し、
前記第１の領域を複数の部分領域に分割し、
前記部分領域毎に、複数の前記第１の空撮画像を合成して、第１の合成画像を生成する、
モバイルプラットフォーム。 A mobile platform that combines aerial images taken by an aircraft.
A processing unit that performs processing related to the synthesis of the aerial image;
The processor is
Acquiring a plurality of first aerial images having different image ranges;
Obtaining a first region surrounding the image range of a plurality of the first aerial images;
Dividing the first region into a plurality of partial regions;
For each partial region, a plurality of the first aerial images are combined to generate a first combined image.
Mobile platform.
請求項１に記載のモバイルプラットフォーム。 The processing unit generates a first composite image by combining a plurality of second aerial images that overlap with the partial region having the same image range among the plurality of first aerial images. To
The mobile platform according to claim 1.
複数の前記第２の空撮画像のうちの一部を、前記第１の合成画像を生成するための前記第２の空撮画像から除外し、前記第１の合成画像を生成する、
請求項２に記載のモバイルプラットフォーム。 The processor is
Excluding a part of the plurality of second aerial images from the second aerial image for generating the first synthesized image, and generating the first synthesized image;
The mobile platform according to claim 2.
前記第２の空撮画像における前記部分領域と重複する第１の部分を切り出し、
切り出された複数の前記第２の空撮画像における複数の前記第１の部分を合成して、前記第１の合成画像を生成する、
請求項２または３に記載のモバイルプラットフォーム。 The processor is
Cutting out a first portion that overlaps the partial region in the second aerial image;
Combining the plurality of first portions in the plurality of cut out second aerial images to generate the first combined image;
The mobile platform according to claim 2 or 3.
前記部分領域毎に得られた複数の前記第１の合成画像を合成して、第２の合成画像を生成する、
請求項１〜４のいずれか１項に記載のモバイルプラットフォーム。 The processor is
Combining a plurality of the first composite images obtained for each of the partial regions to generate a second composite image;
The mobile platform according to any one of claims 1 to 4.
請求項５に記載のモバイルプラットフォーム。 The plurality of adjacent partial regions in the first region have overlapping portions.
The mobile platform according to claim 5.
生成された前記第１の合成画像が記録される第２の記憶部と、を更に備え、
前記処理部は、
前記第１の記憶部において第１の部分領域における前記第１の合成画像を生成し、
生成された前記第１の合成画像を前記第２の記憶部に送り、
前記第１の合成画像を前記第２の記憶部に送った後、前記第１の記憶部において第２の部分領域における前記第１の合成画像を生成する、
請求項１〜６のいずれか１項に記載のモバイルプラットフォーム。 A first storage unit used to generate the first composite image;
A second storage unit in which the generated first composite image is recorded,
The processor is
Generating the first composite image in the first partial region in the first storage unit;
Sending the generated first composite image to the second storage unit;
After sending the first composite image to the second storage unit, the first storage unit generates the first composite image in the second partial area in the first storage unit.
The mobile platform according to claim 1.
前記飛行体は、撮像部を備え、
前記処理部は、
前記飛行体の飛行を制御し、
前記飛行体の飛行中に、前記撮像部に空撮させて前記第１の空撮画像を取得し、前記第１の合成画像を生成する、
請求項１〜７のいずれか１項に記載のモバイルプラットフォーム。 The mobile platform is the aircraft;
The flying object includes an imaging unit,
The processor is
Control the flight of the aircraft,
During the flight of the flying object, the imaging unit is aerial photographed to obtain the first aerial image, and the first composite image is generated.
The mobile platform according to any one of claims 1 to 7.
前記飛行体が飛行するための飛行パラメータ及び前記撮像部により空撮するための撮像パラメータを取得し、
前記飛行パラメータ及び前記撮像パラメータに基づいて、前記画像範囲を決定する、
請求項８に記載のモバイルプラットフォーム。 The processor is
Obtaining flight parameters for flying the flying object and imaging parameters for aerial photography by the imaging unit;
Determining the image range based on the flight parameters and the imaging parameters;
The mobile platform according to claim 8.
前記飛行パラメータ及び前記撮像パラメータの一部を取得し、
前記飛行パラメータ及び前記撮像パラメータの一部に基づいて、前記飛行パラメータ及び前記撮像パラメータの他の一部を算出する、
請求項９に記載のモバイルプラットフォーム。 The processor is
Obtaining a part of the flight parameters and the imaging parameters;
Calculating other part of the flight parameter and the imaging parameter based on the flight parameter and a part of the imaging parameter;
The mobile platform according to claim 9.
前記飛行パラメータ及び前記撮像パラメータの少なくとも一部を、前記飛行パラメータ及び前記撮像パラメータを入力する入力装置から取得する、
請求項９または１０に記載のモバイルプラットフォーム。 The processor is
Obtaining at least a part of the flight parameters and the imaging parameters from an input device for inputting the flight parameters and the imaging parameters;
The mobile platform according to claim 9 or 10.
前記処理部は、
前記撮像部により空撮するための複数の空撮位置の情報を取得し、
前記第３の部分領域における前記撮像部による各空撮位置での空撮が完了した場合、前記第３の部分領域における前記第１の合成画像を生成する、
請求項８〜１１のいずれか１項に記載のモバイルプラットフォーム。 The plurality of partial areas include a third partial area,
The processor is
Acquire information of a plurality of aerial shooting positions for aerial shooting by the imaging unit,
When the aerial shooting at each aerial shooting position by the imaging unit in the third partial region is completed, the first composite image in the third partial region is generated.
The mobile platform according to any one of claims 8 to 11.
異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、
複数の前記第１の空撮画像の前記画像範囲を包囲する第１の領域を取得するステップと、
前記第１の領域を複数の部分領域に分割するステップと、
前記部分領域毎に、複数の前記第１の空撮画像を合成して、第１の合成画像を生成するステップと、
を有する画像合成方法。 An image composition method in a mobile platform for composing an aerial image captured by an aircraft,
Obtaining a plurality of first aerial images having different image ranges;
Obtaining a first region surrounding the image range of a plurality of the first aerial images;
Dividing the first region into a plurality of partial regions;
Synthesizing a plurality of the first aerial images for each partial region to generate a first synthesized image;
An image composition method comprising:
請求項１３に記載の画像合成方法。 The step of generating the first composite image combines a plurality of second aerial images that overlap with the partial region having the same image range among the plurality of first aerial images, Generating a first composite image,
The image composition method according to claim 13.
請求項１４に記載の画像合成方法。 Generating the first composite image excludes a part of the plurality of second aerial images from the second aerial image for generating the first composite image; Generating the first composite image;
The image composition method according to claim 14.
前記第２の空撮画像における前記部分領域と重複する第１の部分を切り出すステップと、
切り出された複数の前記第２の空撮画像における複数の前記第１の部分を合成して、前記第１の合成画像を生成するステップと、を含む、
請求項１４または１５に記載の画像合成方法。 The step of generating the first composite image includes:
Cutting out a first portion that overlaps the partial region in the second aerial image;
Combining a plurality of the first portions in the plurality of clipped second aerial images to generate the first composite image,
The image composition method according to claim 14 or 15.
請求項１３〜１６のいずれか１項に記載の画像合成方法。 Further comprising: synthesizing a plurality of the first synthesized images obtained for each of the partial areas to generate a second synthesized image;
The image composition method according to claim 13.
請求項１７に記載の画像合成方法。 The plurality of adjacent partial regions in the first region have overlapping portions.
The image composition method according to claim 17.
前記第１の合成画像の生成に用いられる第１の記憶部において、第１の部分領域における前記第１の合成画像を生成するステップと、
生成された前記第１の合成画像を、前記第１の合成画像が記録される第２の記憶部に送るステップと、
前記第１の合成画像を前記第２の記憶部に送った後、前記第１の記憶部において第２の部分領域における前記第１の合成画像を生成するステップと、を含む、
請求項１３〜１８のいずれか１項に記載の画像合成方法。 The step of generating the first composite image includes:
Generating the first composite image in the first partial area in the first storage unit used for generating the first composite image;
Sending the generated first composite image to a second storage unit in which the first composite image is recorded;
Generating the first composite image in the second partial area in the first storage unit after sending the first composite image to the second storage unit;
The image composition method according to any one of claims 13 to 18.
前記飛行体は、撮像部を備え、
前記第１の合成画像を生成するステップは、前記飛行体の飛行中に、前記撮像部に空撮させて前記第１の空撮画像を取得し、前記第１の合成画像を生成するステップ、を含む、
請求項１３〜１９のいずれか１項に記載の画像合成方法。 The mobile platform is the aircraft;
The flying object includes an imaging unit,
The step of generating the first composite image includes the step of causing the imaging unit to take an aerial image during the flight of the flying object to obtain the first aerial image and generating the first composite image. including,
The image composition method according to any one of claims 13 to 19.
前記飛行パラメータ及び前記撮像パラメータに基づいて、前記画像範囲を決定するステップと、を更に含む、
請求項２０に記載の画像合成方法。 Obtaining flight parameters for the flying object to fly and imaging parameters for aerial photography by the imaging unit;
Further comprising determining the image range based on the flight parameters and the imaging parameters.
The image composition method according to claim 20.
前記飛行パラメータ及び前記撮像パラメータの一部を取得するステップと、
前記飛行パラメータ及び前記撮像パラメータの一部に基づいて、前記飛行パラメータ及び前記撮像パラメータの他の一部を算出するステップと、を含む、
請求項２１に記載の画像合成方法。 Obtaining the flight parameters and the imaging parameters;
Obtaining a part of the flight parameters and the imaging parameters;
Calculating another part of the flight parameter and the imaging parameter based on the flight parameter and a part of the imaging parameter.
The image composition method according to claim 21.
請求項２１または２２に記載の画像合成方法。 The step of acquiring the flight parameter and the imaging parameter includes the step of acquiring at least a part of the flight parameter and the imaging parameter from an input device that inputs the flight parameter and the imaging parameter.
The image composition method according to claim 21 or 22.
前記第１の合成画像を生成するステップは、
前記撮像部により空撮するための複数の空撮位置の情報を取得するステップと、
前記第３の部分領域における前記撮像部による各空撮位置での空撮が完了した場合、前記第３の部分領域における前記第１の合成画像を生成するステップと、を含む、
請求項２０〜２３のいずれか１項に記載の画像合成方法。 The plurality of partial areas include a third partial area,
The step of generating the first composite image includes:
Acquiring a plurality of aerial shooting position information for aerial shooting by the imaging unit;
Generating the first composite image in the third partial area when aerial shooting at each aerial shooting position by the imaging unit in the third partial area is completed.
The image composition method according to any one of claims 20 to 23.
異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、
複数の前記第１の空撮画像の前記画像範囲を包囲する第１の領域を取得するステップと、
前記第１の領域を複数の部分領域に分割するステップと、
前記部分領域毎に、複数の前記第１の空撮画像を合成して、第１の合成画像を生成するステップと、
を実行させるためのプログラム。 A mobile platform that synthesizes aerial images captured by flying objects,
Obtaining a plurality of first aerial images having different image ranges;
Obtaining a first region surrounding the image range of a plurality of the first aerial images;
Dividing the first region into a plurality of partial regions;
Synthesizing a plurality of the first aerial images for each partial region to generate a first synthesized image;
A program for running
異なる画像範囲を有する複数の第１の空撮画像を取得するステップと、
複数の前記第１の空撮画像の前記画像範囲を包囲する第１の領域を取得するステップと、
前記第１の領域を複数の部分領域に分割するステップと、
前記部分領域毎に、複数の前記第１の空撮画像を合成して、第１の合成画像を生成するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。 A mobile platform that synthesizes aerial images captured by flying objects,
Obtaining a plurality of first aerial images having different image ranges;
Obtaining a first region surrounding the image range of a plurality of the first aerial images;
Dividing the first region into a plurality of partial regions;
Synthesizing a plurality of the first aerial images for each partial region to generate a first synthesized image;
The computer-readable recording medium which recorded the program for performing this.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144719A JP2019028560A (en) | 2017-07-26 | 2017-07-26 | Mobile platform, image composition method, program and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144719A JP2019028560A (en) | 2017-07-26 | 2017-07-26 | Mobile platform, image composition method, program and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019028560A true JP2019028560A (en) | 2019-02-21 |
Family
ID=65478516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017144719A Ceased JP2019028560A (en) | 2017-07-26 | 2017-07-26 | Mobile platform, image composition method, program and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019028560A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019181805A1 (en) | 2018-03-22 | 2019-09-26 | キヤノン株式会社 | Fixing member, fixing device, and electrophotographic image-forming apparatus |
| WO2019181796A1 (en) | 2018-03-22 | 2019-09-26 | キヤノン株式会社 | Fixing member, fixing device, and electrophotographic image-forming apparatus |
| WO2021117388A1 (en) * | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | Mobile unit, control device, and imaging method |
| CN117470199A (en) * | 2023-12-27 | 2024-01-30 | 天津云圣智能科技有限责任公司 | Swing photography control method and device, storage medium and electronic equipment |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1198492A (en) * | 1997-09-19 | 1999-04-09 | Mitsubishi Electric Corp | Supervisory system |
| WO2004113836A1 (en) * | 2003-06-20 | 2004-12-29 | Mitsubishi Denki Kabushiki Kaisha | Picked-up image display method |
| JP2011002892A (en) * | 2009-06-16 | 2011-01-06 | Asahi Koyo Kk | Mosaic image generating method, device and program |
| JP2014006148A (en) * | 2012-06-25 | 2014-01-16 | Topcon Corp | Aerial photographing method and aerial photographing system |
| US20140192193A1 (en) * | 2011-06-22 | 2014-07-10 | Sensefly S.A. | Method for acquiring images from arbitrary perspectives with uavs equipped with fixed imagers |
| JP2015215252A (en) * | 2014-05-12 | 2015-12-03 | 株式会社日立ソリューションズ | Satellite image data processing device, satellite image data processing system, and method and program for processing satellite image data |
| US20170124745A1 (en) * | 2014-03-28 | 2017-05-04 | Konica Minolta Laboratory U.S.A., Inc. | Method and system of stitching aerial data using information from previous aerial images |
-
2017
- 2017-07-26 JP JP2017144719A patent/JP2019028560A/en not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1198492A (en) * | 1997-09-19 | 1999-04-09 | Mitsubishi Electric Corp | Supervisory system |
| WO2004113836A1 (en) * | 2003-06-20 | 2004-12-29 | Mitsubishi Denki Kabushiki Kaisha | Picked-up image display method |
| JP2011002892A (en) * | 2009-06-16 | 2011-01-06 | Asahi Koyo Kk | Mosaic image generating method, device and program |
| US20140192193A1 (en) * | 2011-06-22 | 2014-07-10 | Sensefly S.A. | Method for acquiring images from arbitrary perspectives with uavs equipped with fixed imagers |
| JP2014006148A (en) * | 2012-06-25 | 2014-01-16 | Topcon Corp | Aerial photographing method and aerial photographing system |
| US20170124745A1 (en) * | 2014-03-28 | 2017-05-04 | Konica Minolta Laboratory U.S.A., Inc. | Method and system of stitching aerial data using information from previous aerial images |
| JP2015215252A (en) * | 2014-05-12 | 2015-12-03 | 株式会社日立ソリューションズ | Satellite image data processing device, satellite image data processing system, and method and program for processing satellite image data |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019181805A1 (en) | 2018-03-22 | 2019-09-26 | キヤノン株式会社 | Fixing member, fixing device, and electrophotographic image-forming apparatus |
| WO2019181796A1 (en) | 2018-03-22 | 2019-09-26 | キヤノン株式会社 | Fixing member, fixing device, and electrophotographic image-forming apparatus |
| WO2021117388A1 (en) * | 2019-12-09 | 2021-06-17 | 富士フイルム株式会社 | Mobile unit, control device, and imaging method |
| CN114788256A (en) * | 2019-12-09 | 2022-07-22 | 富士胶片株式会社 | Moving body, control device, and imaging method |
| JP7444898B2 (en) | 2019-12-09 | 2024-03-06 | 富士フイルム株式会社 | Mobile object, control device, and imaging method |
| CN117470199A (en) * | 2023-12-27 | 2024-01-30 | 天津云圣智能科技有限责任公司 | Swing photography control method and device, storage medium and electronic equipment |
| CN117470199B (en) * | 2023-12-27 | 2024-03-15 | 天津云圣智能科技有限责任公司 | Swing photography control method and device, storage medium and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6962775B2 (en) | Information processing equipment, aerial photography route generation method, program, and recording medium | |
| JP6803800B2 (en) | Information processing device, aerial photography route generation method, aerial photography route generation system, program, and recording medium | |
| JP6765512B2 (en) | Flight path generation method, information processing device, flight path generation system, program and recording medium | |
| JP6878194B2 (en) | Mobile platforms, information output methods, programs, and recording media | |
| JP2019028560A (en) | Mobile platform, image composition method, program and recording medium | |
| JP6962812B2 (en) | Information processing equipment, flight control instruction method, program, and recording medium | |
| JP6675537B1 (en) | Flight path generation device, flight path generation method and program, and structure inspection method | |
| CN111344650B (en) | Information processing device, flight path generation method, program, and recording medium | |
| US20200217665A1 (en) | Mobile platform, image capture path generation method, program, and recording medium | |
| WO2018214401A1 (en) | Mobile platform, flying object, support apparatus, portable terminal, method for assisting in photography, program and recording medium | |
| CN111213107B (en) | Information processing device, imaging control method, program, and recording medium | |
| WO2021115192A1 (en) | Image processing device, image processing method, program and recording medium | |
| JP6790206B1 (en) | Control devices, control methods, programs, and recording media | |
| WO2020001629A1 (en) | Information processing device, flight path generating method, program, and recording medium | |
| WO2020119572A1 (en) | Shape inferring device, shape inferring method, program, and recording medium | |
| JP2021148789A (en) | Radio wave propagation path maintenance system | |
| CN112313942A (en) | Control device for image processing and frame body control | |
| WO2019228337A1 (en) | Moving object, image generation method, program, and recording medium | |
| WO2020108290A1 (en) | Image generating device, image generating method, program and recording medium | |
| JP6974290B2 (en) | Position estimation device, position estimation method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191009 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210315 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20211130 |