JP2020005108A - Control apparatus, imaging apparatus, mobile body, control method, and program - Google Patents

Control apparatus, imaging apparatus, mobile body, control method, and program Download PDF

Info

Publication number
JP2020005108A
JP2020005108A JP2018122419A JP2018122419A JP2020005108A JP 2020005108 A JP2020005108 A JP 2020005108A JP 2018122419 A JP2018122419 A JP 2018122419A JP 2018122419 A JP2018122419 A JP 2018122419A JP 2020005108 A JP2020005108 A JP 2020005108A
Authority
JP
Japan
Prior art keywords
imaging
imaging device
image
range
focus lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018122419A
Other languages
Japanese (ja)
Other versions
JP6569157B1 (en
Inventor
本庄　謙一
Kenichi Honjo
謙一 本庄
明 邵
Ming Shao
明 邵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018122419A priority Critical patent/JP6569157B1/en
Priority to CN201980005098.0A priority patent/CN111226263A/en
Priority to PCT/CN2019/091780 priority patent/WO2020001335A1/en
Application granted granted Critical
Publication of JP6569157B1 publication Critical patent/JP6569157B1/en
Publication of JP2020005108A publication Critical patent/JP2020005108A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/14—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/16—Stereoscopic photography by sequential viewing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

To generate a depth map while suppressing a movement amount of a focus lens.SOLUTION: A control device comprises: a control part that makes an imaging apparatus to image a first imaging range in a state where an imaging surface of the imaging apparatus and a focus lens of the imaging apparatus has a first position relationship, and makes the imaging apparatus to image a second imaging range in a state where the imaging surface of the imaging apparatus and the focus lens of the imaging apparatus has a second position relationship and which contains a first overlapping range that is different from the first imaging range and is overlapped with the first image range; an acquisition part that acquired a first imaging image in the first imaging range imaged by the imaging apparatus and a second imaging image of the imaging range; a calculation part that calculates a blur amount of each of a first image corresponding to a first overlapping range contained in the first imaging image and a second image corresponding to the first overlapping range contained in the second imaging image; and a generation part that generates a depth map containing depth information corresponding to the first overlapping range on the basis of the bluer amount of the first and second images.SELECTED DRAWING: Figure 9

Description

本発明は、制御装置、撮像装置、移動体、制御方法、及びプログラムに関する。   The present invention relates to a control device, an imaging device, a moving object, a control method, and a program.

光学系のフォーカス位置を至近端側から無限端側まで移動させながら画像処理部に動画データを生成させ、動画データに含まれる複数のフレーム画像の中から指定領域にピントが合った静止画像を抽出する撮像装置が開示されている。
特許文献１ 国際公開第２０１７／００６５３８号公報 The image processing unit generates moving image data while moving the focus position of the optical system from the closest end to the infinity end, and a still image that is in focus on a specified area from a plurality of frame images included in the moving image data. An imaging device for extracting is disclosed.
Patent Document 1: International Publication No. WO 2017/006538

フォーカスレンズの移動量を抑制しつつ、デプスマップを生成できるようにすることが望まれている。   It is desired to be able to generate a depth map while suppressing the amount of movement of the focus lens.

本発明の一態様に係る制御装置は、撮像装置の撮像面と撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を撮像装置に撮像させ、かつ、撮像装置の撮像面と撮像装置のフォーカスレンズとが第２位置関係にある状態で、第１撮像範囲と異なり、かつ第１撮像範囲と重複する第１重複範囲を含む第２撮像範囲を撮像装置に撮像させる制御部を備えてよい。制御装置は、撮像装置に撮像された第１撮像範囲の第１撮像画像、及び第２撮像範囲の第２撮像画像を取得する取得部を備えてよい。制御装置は、第１撮像画像に含まれる第１重複範囲に対応する第１画像、及び第２撮像画像に含まれる第１重複範囲に対応する第２画像のそれぞれのぼけ量を算出する算出部を備えてよい。制御装置は、第１画像及び第２画像のそれぞれのぼけ量に基づいて、第１重複範囲に対応する深度情報を含むデプスマップを生成する生成部を備えてよい。   A control device according to an aspect of the present invention includes: a control unit configured to cause an imaging device to capture an image of a first imaging range in a state where an imaging surface of the imaging device and a focus lens of the imaging device are in a first positional relationship; A controller configured to cause the imaging device to image a second imaging range different from the first imaging range and including a first overlapping range that overlaps with the first imaging range in a state in which the imaging device and the focus lens of the imaging device are in the second positional relationship. May be provided. The control device may include an acquisition unit that acquires a first captured image of the first imaging range and a second captured image of the second imaging range captured by the imaging device. The control unit calculates a blur amount of each of the first image corresponding to the first overlapping range included in the first captured image and the second image corresponding to the first overlapping range included in the second captured image. May be provided. The control device may include a generation unit that generates a depth map including depth information corresponding to the first overlap range based on the respective blur amounts of the first image and the second image.

第１撮像範囲は、第２撮像範囲と半分以上重複してよい。   The first imaging range may overlap the second imaging range by half or more.

制御部は、撮像装置の撮像面と撮像装置のフォーカスレンズとが第３位置関係にある状態で、第２撮像範囲と異なり、かつ第２撮像範囲と重複する第２重複範囲を含む第３撮像範囲を撮像装置に撮像させてよい。取得部は、撮像装置に撮像された第３撮像範囲の第３撮像画像を取得してよい。算出部は、第２撮像画像に含まれる第２重複範囲に対応する第３画像、及び第３撮像画像に含まれる第２重複範囲に対応する第４画像のそれぞれのぼけ量を算出してよい。生成部は、第３画像及び第４画像のそれぞれのぼけ量に基づいて、第２重複範囲に対応する深度情報をさらに含むデプスマップを生成してよい。   The control unit includes a third imaging unit that includes a second overlapping range that differs from the second imaging range and overlaps the second imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the third positional relationship. The range may be imaged by the imaging device. The acquisition unit may acquire a third captured image in a third imaging range captured by the imaging device. The calculation unit may calculate the blur amount of each of the third image corresponding to the second overlapping range included in the second captured image and the fourth image corresponding to the second overlapping range included in the third captured image. . The generation unit may generate a depth map further including depth information corresponding to the second overlapping range based on the respective blur amounts of the third image and the fourth image.

第２撮像範囲は、第３撮像範囲と半分以上重複してよい。   The second imaging range may overlap the third imaging range by half or more.

制御部は、撮像装置の撮像方向が変化している間に、撮像装置の撮像面と撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を撮像装置に撮像させ、かつ、撮像装置の撮像面と撮像装置のフォーカスレンズとが第２位置関係にある状態で、第２撮像範囲を撮像装置に撮像させてよい。   The control unit causes the imaging device to image the first imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the first positional relationship while the imaging direction of the imaging device is changing, and The imaging device may cause the imaging device to image the second imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the second positional relationship.

制御部は、第１回転目に、撮像装置の撮像方向が変化するように第１点を中心に撮像装置を回転させている間に、撮像装置に第１撮像画像、及び第２撮像画像を撮像させてよい。制御部は、第２回転目に、撮像装置の撮像方向が変化するように第１点を中心に撮像装置を回転させている間に、デプスマップに従って、撮像装置のフォーカスレンズの位置を制御して、撮像装置に新たに複数の撮像画像を撮像させてよい。   The control unit controls the imaging device to display the first captured image and the second captured image during the first rotation while rotating the imaging device around the first point so that the imaging direction of the imaging device changes. An image may be taken. The control unit controls the position of the focus lens of the imaging device according to the depth map during the second rotation while rotating the imaging device around the first point so that the imaging direction of the imaging device changes. Then, the imaging device may newly capture a plurality of captured images.

制御部は、デプスマップと、複数の撮像画像とを関連付けて記憶部に記憶させてよい。   The control unit may store the depth map and the plurality of captured images in association with each other in the storage unit.

制御部は、撮像装置が第１軌跡に沿って移動する間に、撮像装置の撮像面と撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を撮像装置に撮像させ、かつ、撮像装置の撮像面と撮像装置のフォーカスレンズとが第２位置関係にある状態で、第２撮像範囲を撮像装置に撮像させてよい。   The control unit causes the imaging device to image the first imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the first positional relationship while the imaging device moves along the first trajectory, Further, the imaging device may cause the imaging device to image the second imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the second positional relationship.

制御部は、第１回目に、撮像装置が第１軌跡に沿って移動する間に、撮像装置に第１撮像画像、及び第２撮像画像を撮像させ、第２回目に、撮像装置が第１軌跡に沿って移動する間に、デプスマップに従って、撮像装置のフォーカスレンズの位置を制御して、撮像装置に新たに複数の撮像画像を撮像させてよい。   The control unit causes the image capturing apparatus to capture the first captured image and the second captured image while the image capturing apparatus moves along the first trajectory for the first time. While moving along the trajectory, the position of the focus lens of the imaging device may be controlled in accordance with the depth map to cause the imaging device to newly capture a plurality of captured images.

制御部は、デプスマップと、複数の撮像画像とを関連付けて記憶部に記憶させてよい。   The control unit may store the depth map and the plurality of captured images in association with each other in the storage unit.

本発明の一態様に係る撮像装置は、上記制御装置を備えてよい。撮像装置は、フォーカスレンズを備えてよい。   An imaging device according to one embodiment of the present invention may include the above control device. The imaging device may include a focus lens.

本発明の一態様に係る移動体は、上位撮像装置を備えて移動する移動体でよい。   The moving object according to one embodiment of the present invention may be a moving object that includes an upper-level imaging device and moves.

本発明の一態様に係る制御方法は、撮像装置の撮像面と撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を撮像装置に撮像させ、かつ、撮像装置の撮像面と撮像装置のフォーカスレンズとが第２位置関係にある状態で、第１撮像範囲と異なり、かつ第１撮像範囲と重複する第１重複範囲を含む第２撮像範囲を撮像装置に撮像させる段階を備えてよい。制御方法は、撮像装置に撮像された第１撮像範囲の第１撮像画像、及び第２撮像範囲の第２撮像画像を取得する段階を備えてよい。制御方法は、第１撮像画像に含まれる第１重複範囲に対応する第１画像、及び第２撮像画像に含まれる第１重複範囲に対応する第２画像のそれぞれのぼけ量を算出する段階を備えてよい。制御方法は、第１画像及び第２画像のそれぞれのぼけ量に基づいて、第１重複範囲に対応する深度情報を含むデプスマップを生成する段階を備えてよい。   A control method according to an aspect of the present invention provides a control method that causes an imaging device to capture an image of a first imaging range in a state where an imaging surface of an imaging device and a focus lens of the imaging device are in a first positional relationship. Causing the imaging device to image a second imaging range that is different from the first imaging range and includes a first overlapping range that overlaps with the first imaging range in a state where the and the focus lens of the imaging device are in the second positional relationship. May be provided. The control method may include a step of acquiring a first captured image of a first imaging range and a second captured image of a second imaging range captured by the imaging device. The control method includes calculating a blur amount of each of the first image corresponding to the first overlapping range included in the first captured image and the second image corresponding to the first overlapping range included in the second captured image. May be provided. The control method may include a step of generating a depth map including depth information corresponding to the first overlapping range based on a blur amount of each of the first image and the second image.

本発明の一態様に係るプログラムは、上記制御装置としてコンピュータを機能させるためのプログラムでよい。   The program according to one embodiment of the present invention may be a program for causing a computer to function as the control device.

本発明の一態様によれば、フォーカスレンズの移動量を抑制しつつ、デプスマップを生成できる。   According to one embodiment of the present invention, it is possible to generate a depth map while suppressing the movement amount of the focus lens.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   The above summary of the present invention is not an exhaustive listing of all the required features of the present invention. Further, a sub-combination of these feature groups can also be an invention.

無人航空機及び遠隔操作装置の外観の一例を示す図である。It is a figure showing an example of appearance of an unmanned aerial vehicle and a remote control device. 無人航空機の機能ブロックの一例を示す図である。It is a figure showing an example of an unmanned aerial vehicle functional block. ぼけ量とレンズ位置との関係を示す曲線の一例を示す図である。FIG. 4 is a diagram illustrating an example of a curve indicating a relationship between a blur amount and a lens position. ぼけ量に基づいてオブジェクトまでの距離を算出する手順の一例を示す図である。FIG. 7 is a diagram illustrating an example of a procedure for calculating a distance to an object based on a blur amount. オブジェクトの位置、レンズの位置、及び焦点距離との関係について説明するための図である。FIG. 3 is a diagram for explaining a relationship among an object position, a lens position, and a focal length. 無人航空機が回転しながら撮像装置が撮像する形態について説明するための図である。FIG. 4 is a diagram for describing a mode in which an imaging device captures an image while the unmanned aerial vehicle rotates. 無人航空機が回転しながら撮像装置が撮像する形態について説明するための図である。FIG. 4 is a diagram for describing a mode in which an imaging device captures an image while the unmanned aerial vehicle rotates. 撮像画像とフォーカスレンズの合焦距離との関係の一例を示す図である。FIG. 4 is a diagram illustrating an example of a relationship between a captured image and a focusing distance of a focus lens. 複数の撮像画像から生成されるパノラマ画像の一例を示す図である。FIG. 3 is a diagram illustrating an example of a panoramic image generated from a plurality of captured images. ＵＡＶに搭載された撮像装置の撮像手順の一例を示すフローチャートである。9 is a flowchart illustrating an example of an imaging procedure of an imaging device mounted on a UAV. ハードウェア構成の一例を示す図である。FIG. 3 illustrates an example of a hardware configuration.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of the features described in the embodiments are necessarily essential to the solution of the invention. It is apparent to those skilled in the art that various changes or improvements can be made to the following embodiments. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。   The claims, specification, drawings, and abstract include subject matter protected by copyright. The copyright owner will not object to any person's reproduction of these documents, as indicated in the Patent Office file or record. However, in all other cases, all copyrights are reserved.

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。   Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, wherein blocks represent (1) steps in a process in which an operation is performed or (2) devices responsible for performing an operation. May be expressed as “part”. Certain steps and "parts" may be implemented by programmable circuits and / or processors. Dedicated circuits may include digital and / or analog hardware circuits. It may include integrated circuits (ICs) and / or discrete circuits. A programmable circuit may include a reconfigurable hardware circuit. Reconfigurable hardware circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. May be included.

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。   Computer readable media can include any tangible device that can store instructions for execution by a suitable device. As a result, a computer-readable medium having instructions stored thereon will comprise a product that includes instructions that can be executed to create a means for performing the operations specified in the flowcharts or block diagrams. Examples of the computer-readable medium may include an electronic storage medium, a magnetic storage medium, an optical storage medium, an electromagnetic storage medium, a semiconductor storage medium, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically erasable programmable read only memory (EEPROM), static random access memory (SRAM), compact disk read only memory (CD-ROM), digital versatile disk (DVD), Blu-ray (RTM) disk, memory stick, integrated A circuit card or the like may be included.

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。   Computer readable instructions may include either source code or object code written in any combination of one or more programming languages. Source code or object code includes conventional procedural programming languages. Conventional procedural programming languages include assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or Smalltalk, JAVA, C ++, etc. It may be an object-oriented programming language, and a "C" programming language or a similar programming language. The computer readable instructions may be provided to a general purpose computer, special purpose computer, or other programmable data processing device processor or programmable circuit, either locally or over a wide area network (WAN) such as a local area network (LAN), the Internet, or the like. ) May be provided. A processor or programmable circuit may execute computer-readable instructions to create means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.

図１は、無人航空機（ＵＡＶ）１０及び遠隔操作装置３００の外観の一例を示す。ＵＡＶ１０は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備える。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０は、移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、ＵＡＶの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。   FIG. 1 shows an example of the appearance of an unmanned aerial vehicle (UAV) 10 and a remote control device 300. The UAV 10 includes a UAV body 20, a gimbal 50, a plurality of imaging devices 60, and an imaging device 100. The gimbal 50 and the imaging device 100 are examples of an imaging system. The UAV 10 is a concept in which a moving object includes a flying object moving in the air, a vehicle moving on the ground, a ship moving on water, and the like. The flying object moving in the air is a concept including other aircraft moving in the air, airships, helicopters, and the like, in addition to the UAV.

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。   The UAV body 20 includes a plurality of rotors. The plurality of rotors is an example of a propulsion unit. The UAV body 20 causes the UAV 10 to fly by controlling the rotation of a plurality of rotors. The UAV body 20 causes the UAV 10 to fly using, for example, four rotors. The number of rotors is not limited to four. Further, the UAV 10 may be a fixed wing aircraft having no rotary wing.

撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。   The imaging device 100 is an imaging camera that captures an image of a subject included in a desired imaging range. The gimbal 50 rotatably supports the imaging device 100. The gimbal 50 is an example of a support mechanism. For example, the gimbal 50 supports the imaging device 100 rotatably on a pitch axis using an actuator. The gimbal 50 further supports the imaging device 100 so as to be rotatable around the roll axis and the yaw axis using an actuator. The gimbal 50 may change the attitude of the imaging device 100 by rotating the imaging device 100 about at least one of the yaw axis, the pitch axis, and the roll axis.

複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。   The plurality of imaging devices 60 are sensing cameras that capture images around the UAV 10 to control the flight of the UAV 10. Two imaging devices 60 may be provided in front of the nose of the UAV 10. Still another two imaging devices 60 may be provided on the bottom surface of the UAV 10. The two imaging devices 60 on the front side may be paired and function as a so-called stereo camera. The two imaging devices 60 on the bottom side may also be paired and function as a stereo camera. Based on the images captured by the plurality of imaging devices 60, three-dimensional spatial data around the UAV 10 may be generated. The number of imaging devices 60 provided in the UAV 10 is not limited to four. The UAV 10 only needs to include at least one imaging device 60. The UAV 10 may include at least one imaging device 60 on each of the nose, stern, side, bottom, and ceiling of the UAV 10. The angle of view that can be set by the imaging device 60 may be wider than the angle of view that can be set by the imaging device 100. The imaging device 60 may include a single focus lens or a fisheye lens.

遠隔操作装置３００は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置３００は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置３００は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置３００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。   The remote control device 300 communicates with the UAV 10 to remotely control the UAV 10. The remote control device 300 may communicate with the UAV 10 wirelessly. The remote control device 300 transmits to the UAV 10 instruction information indicating various commands related to the movement of the UAV 10, such as ascending, descending, accelerating, decelerating, moving forward, moving backward, and rotating. The instruction information includes, for example, instruction information for increasing the altitude of the UAV 10. The instruction information may indicate the altitude at which the UAV 10 should be located. UAV 10 moves so as to be located at the altitude indicated by the instruction information received from remote control device 300. The instruction information may include a lift command to raise the UAV 10. The UAV 10 rises while receiving the rising instruction. Even if the UAV 10 receives the ascending command, if the altitude of the UAV 10 has reached the upper limit altitude, the UAV 10 may limit the ascent.

図２は、ＵＡＶ１０の機能ブロックの一例を示す。ＵＡＶ１０は、ＵＡＶ制御部３０、メモリ３７、通信インタフェース３６、推進部４０、ＧＰＳ受信機４１、慣性計測装置４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、湿度センサ４６、ジンバル５０、撮像装置６０及び撮像装置１００を備える。   FIG. 2 shows an example of functional blocks of the UAV 10. The UAV 10 includes a UAV control unit 30, a memory 37, a communication interface 36, a propulsion unit 40, a GPS receiver 41, an inertial measurement device 42, a magnetic compass 43, a barometric altimeter 44, a temperature sensor 45, a humidity sensor 46, a gimbal 50, and an imaging device. 60 and an imaging device 100.

通信インタフェース３６は、遠隔操作装置３００などの他の装置と通信する。通信インタフェース３６は、遠隔操作装置３００からＵＡＶ制御部３０に対する各種の命令を含む指示情報を受信してよい。メモリ３７は、ＵＡＶ制御部３０が、推進部４０、ＧＰＳ受信機４１、慣性計測装置（ＩＭＵ）４２、磁気コンパス４３、気圧高度計４４、温度センサ４５、湿度センサ４６、ジンバル５０、撮像装置６０、及び撮像装置１００を制御するのに必要なプログラム等を格納する。メモリ３７は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）等のフラッシュメモリの少なくとも１つを含んでよい。メモリ３７は、ＵＡＶ本体２０の内部に設けられてよい。ＵＡＶ本体２０から取り外し可能に設けられてよい。   The communication interface 36 communicates with another device such as the remote operation device 300. The communication interface 36 may receive instruction information including various commands to the UAV control unit 30 from the remote operation device 300. In the memory 37, the UAV control unit 30 includes a propulsion unit 40, a GPS receiver 41, an inertial measurement device (IMU) 42, a magnetic compass 43, a barometric altimeter 44, a temperature sensor 45, a humidity sensor 46, a gimbal 50, an imaging device 60, And programs necessary for controlling the imaging apparatus 100. The memory 37 may be a computer-readable recording medium, and may include at least one of an SRAM, a DRAM, an EPROM, an EEPROM, a USB memory, and a flash memory such as a solid state drive (SSD). The memory 37 may be provided inside the UAV body 20. It may be provided detachably from the UAV body 20.

ＵＡＶ制御部３０は、メモリ３７に格納されたプログラムに従ってＵＡＶ１０の飛行及び撮像を制御する。ＵＡＶ制御部３０は、ＣＰＵまたはＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部３０は、通信インタフェース３６を介して遠隔操作装置３００から受信した命令に従って、ＵＡＶ１０の飛行及び撮像を制御する。推進部４０は、ＵＡＶ１０を推進させる。推進部４０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部４０は、ＵＡＶ制御部３０からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、ＵＡＶ１０を飛行させる。   The UAV controller 30 controls the flight and imaging of the UAV 10 according to a program stored in the memory 37. The UAV control unit 30 may be configured by a microprocessor such as a CPU or an MPU, a microcontroller such as an MCU, and the like. The UAV control unit 30 controls flight and imaging of the UAV 10 according to a command received from the remote operation device 300 via the communication interface 36. The propulsion unit 40 propels the UAV 10. The propulsion unit 40 has a plurality of rotors and a plurality of drive motors for rotating the rotors. The propulsion unit 40 causes the UAV 10 to fly by rotating a plurality of rotors via a plurality of drive motors according to a command from the UAV control unit 30.

ＧＰＳ受信機４１は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機４１は、受信された複数の信号に基づいてＧＰＳ受信機４１の位置（緯度及び経度）、つまりＵＡＶ１０の位置（緯度及び経度）を算出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢を検出する。ＩＭＵ４２は、ＵＡＶ１０の姿勢として、ＵＡＶ１０の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス４３は、ＵＡＶ１０の機首の方位を検出する。気圧高度計４４は、ＵＡＶ１０が飛行する高度を検出する。気圧高度計４４は、ＵＡＶ１０の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ４５は、ＵＡＶ１０の周囲の温度を検出する。湿度センサ４６は、ＵＡＶ１０の周囲の湿度を検出する。   The GPS receiver 41 receives a plurality of signals indicating times transmitted from a plurality of GPS satellites. The GPS receiver 41 calculates the position (latitude and longitude) of the GPS receiver 41, that is, the position (latitude and longitude) of the UAV 10, based on the received signals. The IMU 42 detects the attitude of the UAV 10. The IMU 42 detects, as the posture of the UAV 10, accelerations in three axial directions of the UAV 10 in front and rear, left and right, and up and down, and angular velocities in three axial directions of pitch, roll, and yaw. The magnetic compass 43 detects a heading of the UAV 10. The barometric altimeter 44 detects the altitude at which the UAV 10 flies. The barometric altimeter 44 detects the barometric pressure around the UAV 10, converts the detected barometric pressure into a height, and detects the height. Temperature sensor 45 detects the temperature around UAV 10. The humidity sensor 46 detects the humidity around the UAV 10.

撮像装置１００は、撮像部１０２及びレンズ部２００を備える。レンズ部２００は、レンズ装置の一例である。撮像部１０２は、イメージセンサ１２０、撮像制御部１１０、及びメモリ１３０を有する。イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ２１０を介して結像された光学像を撮像し、撮像された画像を撮像制御部１１０に出力する。撮像制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部１１０は、ＵＡＶ制御部３０からの撮像装置１００の動作命令に応じて、撮像装置１００を制御してよい。撮像制御部１１０は、第１制御部及び第２制御部の一例である。メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）などのフラッシュメモリの少なくとも１つを含んでよい。メモリ１３０は、撮像制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。メモリ１３０は、撮像装置１００の筐体から取り外し可能に設けられてよい。   The imaging device 100 includes an imaging unit 102 and a lens unit 200. The lens unit 200 is an example of a lens device. The imaging unit 102 includes an image sensor 120, an imaging control unit 110, and a memory 130. The image sensor 120 may be configured by a CCD or a CMOS. The image sensor 120 captures an optical image formed through the plurality of lenses 210, and outputs the captured image to the imaging control unit 110. The imaging control unit 110 may be configured by a microprocessor such as a CPU or an MPU, a microcontroller such as an MCU, or the like. The imaging control unit 110 may control the imaging device 100 according to an operation command of the imaging device 100 from the UAV control unit 30. The imaging control unit 110 is an example of a first control unit and a second control unit. The memory 130 may be a computer-readable recording medium, and may include at least one of an SRAM, a DRAM, an EPROM, an EEPROM, a USB memory, and a flash memory such as a solid state drive (SSD). The memory 130 stores programs and the like necessary for the imaging control unit 110 to control the image sensor 120 and the like. The memory 130 may be provided inside the housing of the imaging device 100. The memory 130 may be provided detachably from the housing of the imaging device 100.

レンズ部２００は、複数のレンズ２１０、複数のレンズ駆動部２１２、及びレンズ制御部２２０を有する。複数のレンズ２１０は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ２１０の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部２００は、撮像部１０２に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部２１２は、カム環などの機構部材を介して、複数のレンズ２１０の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部２１２は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部２２０は、撮像部１０２からのレンズ制御命令に従って、レンズ駆動部２１２を駆動して、機構部材を介して１または複数のレンズ２１０を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。   The lens unit 200 includes a plurality of lenses 210, a plurality of lens driving units 212, and a lens control unit 220. The plurality of lenses 210 may function as a zoom lens, a varifocal lens, and a focus lens. At least some or all of the plurality of lenses 210 are arranged so as to be movable along the optical axis. The lens unit 200 may be an interchangeable lens that is detachably provided to the imaging unit 102. The lens driving unit 212 moves at least a part or all of the plurality of lenses 210 along the optical axis via a mechanism member such as a cam ring. The lens driving section 212 may include an actuator. The actuator may include a stepper motor. The lens control unit 220 drives the lens driving unit 212 according to a lens control command from the imaging unit 102 to move one or a plurality of lenses 210 along the optical axis direction via a mechanism member. The lens control command is, for example, a zoom control command and a focus control command.

レンズ部２００は、メモリ２２２、位置センサ２１４をさらに有する。レンズ制御部２２０は、撮像部１０２からのレンズ動作命令に応じてレンズ駆動部２１２を介して、レンズ２１０の光軸方向への移動を制御する。レンズ制御部２２０は、撮像部１０２からのレンズ動作命令に応じてレンズ駆動部２１２を介して、レンズ２１０の光軸方向への移動を制御する。レンズ２１０の一部または全部は、光軸に沿って移動する。レンズ制御部２２０は、レンズ２１０の少なくとも１つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ２１４は、レンズ２１０の位置を検出する。位置センサ２１４は、現在のズーム位置またはフォーカス位置を検出してよい。   The lens unit 200 further includes a memory 222 and a position sensor 214. The lens control unit 220 controls the movement of the lens 210 in the optical axis direction via the lens driving unit 212 according to a lens operation command from the imaging unit 102. The lens control unit 220 controls the movement of the lens 210 in the optical axis direction via the lens driving unit 212 according to a lens operation command from the imaging unit 102. Part or all of the lens 210 moves along the optical axis. The lens control unit 220 executes at least one of a zoom operation and a focus operation by moving at least one of the lenses 210 along the optical axis. The position sensor 214 detects the position of the lens 210. The position sensor 214 may detect the current zoom position or focus position.

レンズ駆動部２１２は、振れ補正機構を含んでよい。レンズ制御部２２０は、振れ補正機構を介して、レンズ２１０を光軸に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。レンズ駆動部２１２は、ステッピングモータにより振れ補正機構を駆動して、振れ補正を実行してよい。なお、振れ補正機構は、ステッピングモータにより駆動されて、イメージセンサ１２０を光軸に方向に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。   The lens driving section 212 may include a shake correction mechanism. The lens control unit 220 may execute the shake correction by moving the lens 210 in a direction along the optical axis or in a direction perpendicular to the optical axis via the shake correction mechanism. The lens drive unit 212 may execute a shake correction by driving a shake correction mechanism by a stepping motor. Note that the shake correction mechanism may be driven by a stepping motor to perform the shake correction by moving the image sensor 120 in a direction along the optical axis or in a direction perpendicular to the optical axis.

メモリ２２２は、レンズ駆動部２１２を介して移動する複数のレンズ２１０の制御値を記憶する。メモリ２２２は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。   The memory 222 stores control values of the plurality of lenses 210 that move via the lens driving unit 212. The memory 222 may include at least one of a flash memory such as an SRAM, a DRAM, an EPROM, an EEPROM, and a USB memory.

このように構成された撮像装置１００は、オートフォーカス処理（ＡＦ処理）などを実行するために、レンズから被写体までの距離（被写体距離）を決定する機能を有する。被写体距離を決定するための方式として、レンズと撮像面との位置関係が異なる状態で撮像された複数の画像のぼけ量に基づいて決定する方式がある。ここで、この方式を、ぼけ検出オートフォーカス（Ｂｏｋｅｈ Ｄｅｔｅｃｔｉｏｎ Ａｕｔｏ Ｆｏｕｃｕｓ：ＢＤＡＦ）方式と称する。   The imaging device 100 configured as described above has a function of determining the distance from the lens to the subject (subject distance) in order to execute an autofocus process (AF process) and the like. As a method for determining the subject distance, there is a method for determining based on the blur amounts of a plurality of images captured in a state where the positional relationship between the lens and the imaging surface is different. Here, this method is referred to as a “bokeh detection auto focus (BDAF) method”.

例えば、画像のぼけ量（Ｃｏｓｔ）は、ガウシアン関数を用いて次式（１）で表すことができる。式（１）において、ｘは、水平方向における画素位置を示す。σは、標準偏差値を示す。

Figure 2020005108
For example, the blur amount (Cost) of an image can be expressed by the following equation (1) using a Gaussian function. In Expression (1), x indicates a pixel position in the horizontal direction. σ indicates a standard deviation value.
Figure 2020005108

図３は、式（１）に表される曲線の一例を示す。曲線５００の極小点５０２に対応するレンズ位置にフォーカスレンズを合わせることで、画像Ｉに含まれるオブジェクトに焦点を合わせることができる。   FIG. 3 shows an example of the curve represented by the equation (1). By adjusting the focus lens to the lens position corresponding to the minimum point 502 of the curve 500, the object included in the image I can be focused.

図４は、ＢＤＡＦ方式の距離算出手順の一例を示すフローチャートである。まず、撮像装置１００で、レンズと撮像面とが第１位置関係にある状態で、１枚目の画像Ｉ１を撮像してメモリ１３０に格納する。次いで、フォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させることで、レンズと撮像面とが第２位置関係にある状態にして、撮像装置１００で２枚目の画像Ｉ２を撮像してメモリ１３０に格納する（Ｓ１０１）。例えば、いわゆる山登りＡＦのように、合焦点を超えないようにフォーカスレンズまたはイメージセンサ１２０の撮像面を光軸方向に移動させる。フォーカスレンズまたはイメージセンサ１２０の撮像面の移動量は、例えば、１０μｍでよい。 FIG. 4 is a flowchart showing an example of a BDAF-based distance calculation procedure. First, the imaging apparatus 100, in a state in which the lens and the image plane is in the first positional relationship, for storing the image I 1 of the first sheet in the memory 130 by photographing. Then, by moving the imaging surface of the focusing lens or the image sensor 120 in the optical axis direction, the lens and the imaging surface in the state in the second positional relationship, captured image I 2 of the second sheet by the imaging device 100 And store it in the memory 130 (S101). For example, like a so-called hill-climbing AF, the focus lens or the imaging surface of the image sensor 120 is moved in the optical axis direction so as not to exceed the focal point. The movement amount of the focus lens or the imaging surface of the image sensor 120 may be, for example, 10 μm.

次いで、撮像装置１００は、画像Ｉ１を複数の領域に分割する（Ｓ１０２）。画像Ｉ２内の画素ごとに特徴量を算出して、類似する特徴量を有する画素群を一つの領域として画像Ｉ１を複数の領域に分割してよい。画像Ｉ１のうちＡＦ処理枠に設定されている範囲の画素群を複数の領域に分割してもよい。撮像装置１００は、画像Ｉ１の複数の領域に対応する複数の領域に画像Ｉ２を分割する。撮像装置１００は、画像Ｉ１の複数の領域のそれぞれのぼけ量と、画像Ｉ２の複数の領域のそれぞれのぼけ量とに基づいて、複数の領域ごとに複数の領域のそれぞれに含まれるオブジェクトまでの距離を算出する（Ｓ１０３）。 Then, the imaging device 100 divides the image I 1 into a plurality of regions (S102). Calculates a feature amount for each pixel in the image I2, it may divide the image I 1 into a plurality of regions of pixel groups having a feature amount that is similar as a single region. The pixel groups in the range that is set in the AF processing frame of the image I 1 may be divided into a plurality of regions. Imaging device 100 divides the image I 2 into a plurality of regions corresponding to a plurality of areas of the image I 1. Object image pickup apparatus 100 includes a respective blur amount of the plurality of regions of the image I 1, based on the respective blur amount of the plurality of regions of the image I 2, respectively included in the plurality of regions for each of a plurality of regions Is calculated (S103).

図５を参照して距離の算出手順についてさらに説明する。レンズＬ（主点）から被写体５１０（物面）までの距離をＡ、レンズＬ（主点）から被写体５１０が撮像面で結像する位置（像面）までの距離をＢ、焦点距離をＦとする。この場合、距離Ａ、距離Ｂ、及び焦点距離Ｆの関係は、レンズの公式から次式（２）で表すことができる。

Figure 2020005108
The procedure for calculating the distance will be further described with reference to FIG. A is the distance from the lens L (principal point) to the subject 510 (object surface), B is the distance from the lens L (principal point) to the position (image plane) where the subject 510 forms an image on the imaging surface, and F is the focal length. And In this case, the relationship between the distance A, the distance B, and the focal length F can be expressed by the following equation (2) from the lens formula.
Figure 2020005108

焦点距離Ｆはレンズ位置で特定される。したがって、被写体５１０が撮像面で結像する距離Ｂが特定できれば、式（２）を用いて、レンズＬから被写体５１０までの距離Ａを特定することができる。   The focal length F is specified by the lens position. Therefore, if the distance B at which the subject 510 forms an image on the imaging surface can be specified, the distance A from the lens L to the subject 510 can be specified using Expression (2).

図５に示すように、撮像面上に投影された被写体５１０のぼけの大きさ（錯乱円５１２及び５１４）から被写体５１０が結像する位置を算出することで、距離Ｂを特定し、さらに距離Ａを特定することができる。つまり、ぼけの大きさ（ぼけ量）が撮像面と結像位置とに比例することを考慮して、結像位置を特定できる。   As shown in FIG. 5, the position at which the subject 510 forms an image is calculated from the size of the blur (confusion circles 512 and 514) of the subject 510 projected on the imaging surface, so that the distance B is specified. A can be specified. That is, the image formation position can be specified in consideration of the fact that the size of the blur (blur amount) is proportional to the imaging surface and the image formation position.

ここで、撮像面から近い像Ｉ１からレンズＬまでの距離をＤ１とする。像面から遠い像Ｉ２からレンズＬまでの距離をＤ２とする。それぞれの画像はぼけている。このときの点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をＰＳＦ、Ｄ１及びＤ２における画像をそれぞれ、Ｉｄ１及びＩｄ２とする。この場合、例えば、像Ｉ１は、畳み込み演算により次式（３）で表すことができる。

Figure 2020005108
Here, the distance from the image I 1 close to the imaging surface to the lens L is D 1 . The distance from the far image I 2 from the image plane to the lens L and D 2. Each image is blurred. The point spread function of the time (Point Spread Function) PSF, the image in the D 1 and D 2, respectively, and I d1 and I d2. In this case, for example, the image I 1 can be the convolution operation represented by the following formula (3).
Figure 2020005108

さらに、画像データＩｄ１及びＩｄ２のフーリエ変換関数をｆとして、画像Ｉｄ１及びＩｄ２の点像分布関数ＰＳＦ１及びＰＳＦ２をフーリエ変換した光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）をＯＴＦ１及びＯＴＦ２として、次式（４）のように比をとる。

Figure 2020005108
Further, assuming that the Fourier transform function of the image data I d1 and I d2 is f, the optical transfer function (Optical Transfer Function) obtained by Fourier transforming the point spread functions PSF 1 and PSF 2 of the images I d1 and I d2 is OTF 1 and OTF. As 2 , the ratio is calculated as in the following equation (4).
Figure 2020005108

式（４）に示す値Ｃは、画像Ｉｄ１及びＩｄ２のそれぞれのぼけ量の変化量、つまり、値Ｃは、画像Ｉｄ１のぼけ量と画像Ｉｄ２ｎのぼけ量との差に相当する。 The value C shown in Expression (4) is the amount of change in the blur amount of each of the images I d1 and I d2 , that is, the value C corresponds to the difference between the blur amount of the image I d1 and the blur amount of the image I d2n. .

以上のように構成された撮像装置１００により撮像された撮像画像に基づいて、フォーカスレンズの移動量を抑制しつつ、デプスマップを生成する。デプスマップは、画素毎、または複数の画素を含むブロック毎に、被写体までの距離を表すデータである。   Based on the image captured by the image capturing apparatus 100 configured as described above, a depth map is generated while suppressing the movement amount of the focus lens. The depth map is data representing the distance to the subject for each pixel or for each block including a plurality of pixels.

撮像制御部１１０は、取得部１１２、算出部１１４、生成部１１６、及び合成部１１８を備える。   The imaging control unit 110 includes an acquisition unit 112, a calculation unit 114, a generation unit 116, and a synthesis unit 118.

撮像制御部１１０は、撮像装置１００の撮像方向が変化している間、または撮像装置１００が第１軌跡に沿って移動している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとの位置関係が異なる状態で、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させる。撮像制御部１１０は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとの位置関係が異なる状態で、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。ここで、撮像範囲は、撮像装置１００により撮像されている空間の範囲である。   The imaging control unit 110 controls the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 while the imaging direction of the imaging device 100 is changing or while the imaging device 100 is moving along the first trajectory. In a state where the positional relationship is different, the imaging device 100 is caused to capture a plurality of captured images in a plurality of imaging ranges including the overlapping range. While the UAV 10 is rotating while hovering at a predetermined point, the imaging control unit 110 controls the imaging device 100 in a state where the positional relationship between the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 is different. A plurality of captured images may be captured in a plurality of imaging ranges including the overlapping range. Here, the imaging range is a range of a space in which the imaging device 100 is imaging.

撮像制御部１１０は、ＵＡＶ１０が移動している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとの位置関係が異なる状態で、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。撮像制御部１１０は、ＵＡＶ１０が撮像装置１００の撮像方向と異なる方向に移動している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとの位置関係が異なる状態で、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。   While the UAV 10 is moving, the imaging control unit 110 controls the imaging device 100 in a plurality of imaging ranges including the overlapping range in a state where the positional relationship between the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 is different. A plurality of captured images may be captured. While the UAV 10 is moving in a direction different from the imaging direction of the imaging device 100, the imaging control unit 110 controls the imaging device 100 with the positional relationship between the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 being different. A plurality of captured images may be captured in a plurality of imaging ranges including the overlapping range.

撮像制御部１１０は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、フォーカスレンズを移動させて、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。撮像制御部１１０は、ＵＡＶ１０が第１軌跡に沿って移動している間に、フォーカスレンズを移動させて、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。   The imaging control unit 110 moves the focus lens while the UAV 10 is rotating while hovering at a predetermined point, and the imaging device 100 captures a plurality of captured images in a plurality of imaging ranges including an overlapping range. You may let me. The imaging control unit 110 may move the focus lens while the UAV 10 is moving along the first trajectory to cause the imaging device 100 to capture a plurality of captured images in a plurality of imaging ranges including the overlapping range. .

撮像制御部１１０は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、フォーカスレンズの位置を第１位置及び第２位置に交互に切り替えながら、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。撮像制御部１１０は、ＵＡＶ１０が第１軌跡に沿って移動している間に、フォーカスレンズの位置を第１位置及び第２位置に交互に切り替えながら、撮像装置１００に重複範囲を含む複数の撮像範囲で複数の撮像画像を撮像させてよい。   The imaging control unit 110 includes an overlapping range in the imaging device 100 while alternately switching the position of the focus lens between the first position and the second position while the UAV 10 is rotating while hovering at a predetermined point. A plurality of captured images may be captured in a plurality of imaging ranges. While the UAV 10 is moving along the first trajectory, the imaging control section 110 switches the focus lens position between the first position and the second position alternately, and causes the imaging device 100 to perform a plurality of imaging operations including the overlapping range. A plurality of captured images may be captured in the range.

撮像制御部１１０は、図６に示すように、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲６０１を撮像装置１００に撮像させてよい。撮像制御部１１０は、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとが第２位置関係にある状態で、第１撮像範囲６０１と異なり、かつ第１撮像範囲６０１と重複する第１重複範囲６１１を含む第２撮像範囲６０２を撮像装置１００に撮像させてよい。撮像制御部１１０は撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとが第３位置関係にある状態で、第２撮像範囲６０２と異なり、かつ第２撮像範囲６０２と重複する第２重複範囲６１２を含む第３撮像範囲６０３を撮像装置１００に撮像させてよい。第１撮像範囲６０１は、第２撮像範囲６０２と異なるが、第２撮像範囲６０２と半分以上重複してよい。第２撮像範囲６０２は、第３撮像範囲６０３と異なるが、第３撮像範囲６０３と半分以上重複してよい。第２撮像範囲６０２は、第１撮像範囲６０１及び第３撮像範囲６０３と異なるが、第３撮像範囲６０３と半分以上重複してよい。   As shown in FIG. 6, while the UAV 10 is rotating while hovering at a predetermined point, the imaging control unit 110 determines the first positional relationship between the imaging surface of the imaging device 100 and the focus lens of the imaging device 100. , The first imaging range 601 may be imaged by the imaging device 100. The imaging control unit 110 differs from the first imaging range 601 and overlaps with the first imaging range 601 in a state where the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 are in the second positional relationship. The second imaging range 602 including the range 611 may be imaged by the imaging device 100. In a state where the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 are in the third positional relationship, the imaging control unit 110 differs from the second imaging range 602 and overlaps with the second imaging range 602. The image capturing apparatus 100 may cause the image capturing apparatus 100 to capture an image of the third image capturing range 603 including 612. The first imaging range 601 is different from the second imaging range 602, but may overlap the second imaging range 602 by half or more. The second imaging range 602 is different from the third imaging range 603, but may overlap the third imaging range 603 by half or more. The second imaging range 602 is different from the first imaging range 601 and the third imaging range 603, but may overlap the third imaging range 603 by half or more.

取得部１１２は、撮像装置１００の撮像方向が変化している間、または撮像装置１００が第１軌跡に沿って移動している間に撮像装置１００に撮像された複数の撮像画像を取得する。取得部１１２は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとが位置関係が異なる状態で撮像装置１００に撮像された複数の撮像範囲の撮像画像を取得してよい。取得部１１２は、ＵＡＶ１０が第１軌跡に沿って移動している間に、撮像装置１００の撮像面と撮像装置１００のフォーカスレンズとが位置関係が異なる状態で撮像装置１００に撮像された複数の撮像範囲の撮像画像を取得してよい。   The acquisition unit 112 acquires a plurality of captured images captured by the imaging device 100 while the imaging direction of the imaging device 100 is changing or while the imaging device 100 is moving along the first trajectory. The acquisition unit 112 captures an image with the imaging device 100 in a state where the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 have different positional relationships while the UAV 10 is rotating while hovering at a predetermined point. Alternatively, captured images of a plurality of imaging ranges may be acquired. The acquisition unit 112 is configured to output a plurality of images captured by the imaging device 100 in a state where the imaging surface of the imaging device 100 and the focus lens of the imaging device 100 have different positional relationships while the UAV 10 is moving along the first trajectory. A captured image of the imaging range may be obtained.

算出部１１４は、複数の撮像画像のそれぞれに含まれる重複範囲の画像のそれぞれのぼけ量を算出する。算出部１１４は、ガウシアン関数を用いた式（１）に基づいて、それぞれの画像のぼけ量（Ｃｏｓｔ）を算出してよい。   The calculation unit 114 calculates the blur amount of each of the images in the overlapping range included in each of the plurality of captured images. The calculation unit 114 may calculate the blur amount (Cost) of each image based on Expression (1) using a Gaussian function.

生成部１１６は、複数の重複範囲の画像のそれぞれのぼけ量に基づいて、複数の重複範囲のそれぞれに対応する深度情報を含むデプスマップを生成する。生成部１１６は、複数の重複範囲の画像のそれぞれのぼけ量に基づいて、ＢＤＡＦ方式で、複数の重複範囲の画像の画素毎、または複数の画素を含むブロック毎に、被写体までの距離を示す深度情報を含むデプスマップを生成してよい。   The generation unit 116 generates a depth map including depth information corresponding to each of the plurality of overlapping ranges, based on the blur amounts of the images of the plurality of overlapping ranges. The generation unit 116 indicates the distance to the subject for each pixel of the image of the plurality of overlapping ranges or for each block including the plurality of pixels in the BDAF method based on the blur amount of each of the images of the plurality of overlapping ranges. A depth map including depth information may be generated.

撮像制御部１１０は、図７Ａ及び図７Ｂに示すように、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、フォーカスレンズの合焦距離を第１位置（１．０ｍ）に設定して、第１撮像範囲６０１を撮像装置１００に撮像させてよい。取得部１１２は、第１撮像範囲６０１の第１撮像画像７０１を取得してよい。撮像制御部１１０は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、フォーカスレンズの合焦距離を第２位置（０．５ｍ）に設定して、第２撮像範囲６０２を撮像装置１００に撮像させてよい。取得部１１２は、第２撮像範囲６０２の第２撮像画像７０２を取得してよい。さらに、撮像制御部１１０は、ＵＡＶ１０が予め定められた地点でホバリングしながら回転している間に、フォーカスレンズの合焦距離を第１位置（１．０ｍ）に設定して、第３撮像範囲６０３を撮像装置１００に撮像させてよい。取得部１１２は、第３撮像範囲６０３の第３撮像画像７０３を取得してよい。   As shown in FIGS. 7A and 7B, the imaging control unit 110 sets the focus distance of the focus lens to the first position (1.0 m) while the UAV 10 is rotating while hovering at a predetermined point. By setting, the first imaging range 601 may be imaged by the imaging device 100. The acquisition unit 112 may acquire the first captured image 701 in the first imaging range 601. The imaging control unit 110 sets the focusing distance of the focus lens to the second position (0.5 m) while the UAV 10 is rotating while hovering at a predetermined point, and sets the second imaging range 602. You may make the imaging device 100 image. The acquisition unit 112 may acquire the second captured image 702 in the second imaging range 602. Further, the imaging control unit 110 sets the focusing distance of the focus lens to the first position (1.0 m) while the UAV 10 is rotating while hovering at a predetermined point, and sets the third imaging range. 603 may be imaged by the imaging device 100. The acquisition unit 112 may acquire the third captured image 703 in the third imaging range 603.

算出部１１４は、第１撮像画像７０１に含まれる第１重複範囲６１１に対応する第１画像７１０、及び第２撮像画像７０２に含まれる第１重複範囲６１１に対応する第２画像７１１のそれぞれのぼけ量を算出してよい。算出部１１４は、第２撮像画像７０２に含まれる第２重複範囲６１２に対応する第３画像７１２、及び第３撮像画像７０３に含まれる第２重複範囲６１２に対応する第４画像７１３のそれぞれのぼけ量を算出してよい。   The calculation unit 114 calculates each of the first image 710 corresponding to the first overlapping range 611 included in the first captured image 701 and the second image 711 corresponding to the first overlapping range 611 included in the second captured image 702. The blur amount may be calculated. The calculation unit 114 calculates the third image 712 corresponding to the second overlapping range 612 included in the second captured image 702 and the fourth image 713 corresponding to the second overlapping range 612 included in the third captured image 703. The blur amount may be calculated.

生成部１１６は、第１画像７１０及び第２画像７１１のそれぞれのぼけ量に基づいて、第１重複範囲６１１に対応する深度情報を含むデプスマップを生成してよい。生成部１１６は、第３画像７１２及び第４画像７１３のそれぞれのぼけ量に基づいて、第２重複範囲６１２に対応する深度情報をさらに含むデプスマップを生成してよい。   The generating unit 116 may generate a depth map including depth information corresponding to the first overlapping range 611, based on the respective blur amounts of the first image 710 and the second image 711. The generating unit 116 may generate a depth map further including depth information corresponding to the second overlapping range 612 based on the respective blur amounts of the third image 712 and the fourth image 713.

以上のように、本実施形態に係る撮像装置１００によれば、互いに異なり、かつ一部が重複する撮像範囲の複数の撮像画像に基づいて、ＢＤＡＦ方式に従って重複範囲に対応するデプスマップを生成する。ＢＤＡＦ方式の場合、フォーカスレンズを至近端側から無限端まで移動させることなく、被写体までの距離を特定できる。さらに、撮像装置１００の撮像方向を変化させている間、または撮像装置１００を第１軌跡に従って移動させている間に撮像された撮像画像に基づいて、デプスマップを生成する。よって、比較的短時間に広範囲の深度情報を含むデプスマップを生成することができる。   As described above, according to the imaging apparatus 100 according to the present embodiment, the depth map corresponding to the overlapping range is generated according to the BDAF method based on the plurality of captured images in the imaging range that are different from each other and partially overlap. . In the case of the BDAF method, the distance to the subject can be specified without moving the focus lens from the closest end to the infinite end. Furthermore, a depth map is generated based on a captured image captured while the imaging direction of the imaging device 100 is being changed or while the imaging device 100 is being moved according to the first trajectory. Therefore, a depth map including a wide range of depth information can be generated in a relatively short time.

撮像制御部１１０は、デプスマップに基づいて、撮像装置１００のフォーカスレンズの位置を制御して、さらに撮像装置１００に複数の撮像画像を撮像させてよい。   The imaging control unit 110 may control the position of the focus lens of the imaging device 100 based on the depth map, and further cause the imaging device 100 to capture a plurality of captured images.

撮像制御部１１０は、第１回転目に、撮像装置１００の撮像方向が変化するように第１点を中心に撮像装置１００を回転させている間に、撮像装置１００に第１撮像画像、及び第２撮像画像を撮像させてよい。撮像制御部１１０は、第２回転目に、撮像装置１００の撮像方向が変化するように第１点を中心に撮像装置を回転させている間に、デプスマップに従って、撮像装置１００のフォーカスレンズの位置を制御して、撮像装置１００に新たに複数の撮像画像を撮像させてよい。   The imaging control unit 110 controls the imaging device 100 to rotate the imaging device 100 around the first point so that the imaging direction of the imaging device 100 changes in the first rotation, A second captured image may be captured. The imaging control unit 110 controls the focus lens of the imaging device 100 according to the depth map during the second rotation while rotating the imaging device around the first point so that the imaging direction of the imaging device 100 changes. The position may be controlled to cause the image capturing apparatus 100 to newly capture a plurality of captured images.

撮像制御部１１０は、第１回目に、撮像装置１００が第１軌跡に沿って移動する間に、撮像装置１００に第１撮像画像、及び第２撮像画像を撮像させ、第２回目に、撮像装置１００が第１軌跡に沿って移動する間に、デプスマップに従って、撮像装置１００のフォーカスレンズの位置を制御して、撮像装置１００に新たに複数の撮像画像を撮像させてよい。   The imaging control unit 110 causes the imaging device 100 to capture the first captured image and the second captured image while the imaging device 100 moves along the first trajectory for the first time. While the device 100 moves along the first trajectory, the position of the focus lens of the imaging device 100 may be controlled according to the depth map to cause the imaging device 100 to newly capture a plurality of captured images.

撮像制御部１１０は、第１回転目に、ＵＡＶ１０をホバリングさせながら第１地点を中心に回転させている間に、互いに異なり、かつ一部が重複する撮像範囲の複数の撮像画像を撮像装置１００に撮像させてよい。取得部１１２は、互いに異なり、かつ一部が重複する撮像範囲の複数の撮像画像を取得してよい。算出部１１４は、重複範囲の画像のぼけ量を算出してよい。さらに、生成部１１６は、重複範囲の画像のぼけ量に基づいて、重複範囲に対応する深度情報を含むデプスマップを生成してよい。   During the first rotation, while rotating the UAV 10 around the first point during the first rotation, the imaging control unit 110 captures a plurality of captured images in an imaging range different from each other and partially overlapping. May be imaged. The acquisition unit 112 may acquire a plurality of captured images in an imaging range different from each other and partially overlapping. The calculation unit 114 may calculate the blur amount of the image in the overlapping range. Furthermore, the generation unit 116 may generate a depth map including depth information corresponding to the overlapping range based on the blur amount of the image in the overlapping range.

撮像制御部１１０は、デプスマップに従って、所望の被写体までの距離を特定してよい。撮像制御部１１０は、第２回転目に、ＵＡＶ１０をホバリングさせながら第１地点を中心に回転させている間に、特定された所望の被写体までの距離に従ってフォーカスレンズの位置を制御して、撮像装置１００に複数の撮像画像を撮像させてよい。撮像制御部１１０は、第２回転目に、ＵＡＶ１０をホバリングさせながら第１地点を中心に回転させている間に、デプスマップに従わず、予め定められた合焦距離にフォーカスレンズを制御して、撮像装置１００に複数の撮像画像を撮像させてよい。   The imaging control unit 110 may specify the distance to a desired subject according to the depth map. The imaging control unit 110 controls the position of the focus lens according to the specified distance to the desired subject while rotating the UAV 10 around the first point while hovering the UAV 10 in the second rotation, and performs imaging. The apparatus 100 may capture a plurality of captured images. During the second rotation, the imaging control unit 110 controls the focus lens to a predetermined focusing distance without following the depth map while rotating the UAV 10 around the first point while hovering. Alternatively, the image capturing apparatus 100 may capture a plurality of captured images.

撮像制御部１１０は、デプスマップと、複数の撮像画像とを関連付けてメモリ１３０などの記憶部に記憶させてよい。   The imaging control unit 110 may store the depth map and a plurality of captured images in a storage unit such as the memory 130 in association with each other.

合成部１１８は、複数の撮像画像を合成して、図８に示すようなパノラマ画像を生成してよい。合成部１１８は、パノラマ画像と、デプスマップとを関連付けて、メモリ１３０などの記憶部に記憶させてよい。   The combining unit 118 may combine a plurality of captured images to generate a panoramic image as illustrated in FIG. The combining unit 118 may associate the panoramic image with the depth map and store the panoramic image in a storage unit such as the memory 130.

隣接する撮像範囲同士の重複範囲の割合は、撮像範囲が異なれば、任意の割合でよい。撮像装置１００により撮像される全撮像範囲の深度情報を含むデプスマップを生成する場合には、隣接する撮像範囲同士の重複範囲の割合は、１より小さくかつ１／２以上である。一方、撮像装置１００により撮像される一部の撮像範囲の深度情報を含むデプスマップを生成する場合には、隣接する撮像範囲同士の重複範囲の割合は、１／２より小さくかつ０より大きい割合でよい。   The ratio of the overlapping range between adjacent imaging ranges may be any ratio as long as the imaging ranges are different. When generating a depth map including depth information of the entire imaging range imaged by the imaging device 100, the ratio of the overlapping range between adjacent imaging ranges is smaller than 1 and equal to or greater than 1/2. On the other hand, when generating a depth map including depth information of a part of the imaging range captured by the imaging device 100, the ratio of the overlapping range between adjacent imaging ranges is smaller than 1/2 and larger than 0. Is fine.

図９は、ＵＡＶ１０に搭載された撮像装置１００の撮像手順の一例を示すフローチャートである。   FIG. 9 is a flowchart illustrating an example of an imaging procedure of the imaging device 100 mounted on the UAV 10.

ＵＡＶ１０が飛行を開始する（Ｓ２００）。遠隔操作装置３００を介したユーザからの指示に応じて、撮像装置１００の撮像モードをデプスマップ付きパノラマモードに設定する（Ｓ２０２）。ＵＡＶ制御部３０が、ＵＡＶ１０を所望の第１地点に移動させる。次いで、撮像制御部１１０は、ＵＡＶ制御部３０を介してＵＡＶ１０を第１地点でホバリングさせながら回転させ、かつフォーカスレンズを移動させながら、撮像装置１００に、互いに異なり、かつ一部が重複する撮像範囲の複数の撮像画像を撮像させる（Ｓ２０４）。撮像制御部１１０は、フォーカスレンズの位置を第１位置と第２位置との間で交互に切り替えながら、撮像装置１００に、互いに異なり、かつ一部が重複する撮像範囲の複数の撮像画像を撮像させてよい。   The UAV 10 starts flying (S200). In response to an instruction from the user via the remote control device 300, the imaging mode of the imaging device 100 is set to a panorama mode with a depth map (S202). The UAV control unit 30 moves the UAV 10 to a desired first point. Next, the imaging control unit 110 rotates the UAV 10 at the first point while rotating the UAV 10 via the UAV control unit 30 and moves the focus lens. A plurality of captured images in the range are captured (S204). The imaging control unit 110 causes the imaging device 100 to capture a plurality of captured images in an imaging range that is different from each other and partially overlaps while alternately switching the position of the focus lens between the first position and the second position. You may let me.

算出部１１４が、重複範囲の画像のぼけ量を算出し、生成部１１６が、そのぼけ量に基づいて、重複範囲に対応する深度情報を含むデプスマップを生成する（Ｓ２０６）。   The calculating unit 114 calculates the blur amount of the image in the overlapping range, and the generating unit 116 generates a depth map including depth information corresponding to the overlapping range based on the blur amount (S206).

次いで、撮像制御部１１０は、ＵＡＶ制御部３０を介してＵＡＶ１０を第１地点でホバリングさせながら再度回転させ、かつデプスマップに従ってフォーカスレンズを制御しながら、撮像装置１００に複数の撮像画像を撮像させる（Ｓ２０８）。撮像制御部１１０は、デプスマップに従って所望の被写体までの距離を特定して、その距離に応じてフォーカスレンズの位置を調整してよい。そして、撮像制御部１１０は、ＵＡＶ制御部３０を介してＵＡＶ１０を第１地点でホバリングさせながら回転させながら、調整されたフォーカスレンズの位置で、複数の撮像画像を撮像させてよい。撮像制御部１１０は、例えば、複数の合焦距離のそれぞれで撮像装置１００に撮像させる場合には、合焦距離ごとにＵＡＶ１０をその都度回転させて、撮像装置１００に撮像させてよい。ＵＡＶ１０が複数の撮像装置１００を搭載している場合には、撮像制御部１１０は、複数の撮像装置１００のそれぞれの合焦距離を異ならせて、ＵＡＶ１０が１回転する間に、複数の撮像装置１００のそれぞれに異なる合焦距離で複数の撮像画像を撮像させてもよい。   Next, the imaging control unit 110 rotates the UAV 10 again while hovering at the first point via the UAV control unit 30 and controls the imaging device 100 to capture a plurality of captured images while controlling the focus lens according to the depth map. (S208). The imaging control unit 110 may specify a distance to a desired subject according to the depth map, and adjust the position of the focus lens according to the distance. Then, the imaging control unit 110 may cause the UAV 10 to take a plurality of captured images at the adjusted position of the focus lens while rotating and hovering the UAV 10 at the first point via the UAV control unit 30. For example, when the imaging device 100 causes the imaging device 100 to perform imaging at each of a plurality of focusing distances, the imaging control unit 110 may rotate the UAV 10 for each focusing distance and cause the imaging device 100 to perform imaging. When the UAV 10 includes a plurality of imaging devices 100, the imaging control unit 110 changes the focusing distance of each of the plurality of imaging devices 100, and controls the plurality of imaging devices during one rotation of the UAV 10. A plurality of captured images may be captured at different focusing distances by each of the cameras 100.

撮像制御部１１０は、撮像された複数の撮像画像と、デプスマップとを関連付けてメモリ１３０に保存する（Ｓ２１０）。合成部１１８が、複数の撮像画像を合成してパノラマ画像を生成して、撮像制御部１１０は、そのパノラマ画像とデプスマップとを関連付けてメモリ１３０に保存してもよい。   The imaging control unit 110 stores the plurality of captured images in the memory 130 in association with the depth map (S210). The synthesizing unit 118 may generate a panoramic image by synthesizing a plurality of captured images, and the imaging control unit 110 may store the panoramic image and the depth map in the memory 130 in association with each other.

上記では、ＵＡＶ１０が３６０度回転し、生成部１１６が３６０度の範囲の深度情報を含むデプスマップを生成する例について説明した。しかし、ＵＡＶ１０は、３６０度より小さい回転角度だけ回転して、生成部１１６がその回転角度の範囲に対応する深度情報を含むデプスマップを生成してもよい。ＵＡＶ１０の撮像装置１００がヨー軸周りに３６０度回転する例を説明した。しかしながら、撮像装置１００は、３次元空間において撮像することも可能である。撮像装置１００が３次元空間において撮像する場合には、ジンバル５０を制御することにより撮像装置１００の姿勢を調整することで、撮像装置１００は撮影可能である。例えば、はじめはジンバル５０のピッチ軸とロール軸を固定してヨー軸周りで撮像装置１００を回転させ、その後にピッチ軸回りに撮像装置１００をプラス又はマイナス方向へ傾けて再びヨー軸周りで撮像装置１００を回転させる。ＵＡＶ１０のバランスが取れるなら、ジンバルにより撮像装置１００の姿勢を制御する代わりに、ＵＡＶ１０の姿勢を制御することで撮像装置１００の姿勢を制御してもよい。このようにすれば３次元空間でデプスマップを取得することができる。他にも重複範囲ができるように撮像装置１００を複数設ければ撮像装置１００が１つの場合よりも短い工数でデプスマップを取得することが可能である。   In the above, an example has been described in which the UAV 10 rotates 360 degrees, and the generation unit 116 generates a depth map including depth information in a range of 360 degrees. However, UAV 10 may rotate by a rotation angle smaller than 360 degrees, and generating section 116 may generate a depth map including depth information corresponding to the range of the rotation angle. The example in which the imaging device 100 of the UAV 10 rotates 360 degrees around the yaw axis has been described. However, the imaging device 100 can also perform imaging in a three-dimensional space. When the image capturing apparatus 100 captures an image in a three-dimensional space, the image capturing apparatus 100 can capture an image by controlling the gimbal 50 to adjust the attitude of the image capturing apparatus 100. For example, initially, the pitch axis and the roll axis of the gimbal 50 are fixed, and the image capturing apparatus 100 is rotated about the yaw axis. Thereafter, the image capturing apparatus 100 is tilted in the plus or minus direction about the pitch axis to capture an image about the yaw axis again. The device 100 is rotated. If the UAV 10 can be balanced, the attitude of the imaging apparatus 100 may be controlled by controlling the attitude of the UAV 10 instead of controlling the attitude of the imaging apparatus 100 by using a gimbal. In this way, a depth map can be obtained in a three-dimensional space. If a plurality of imaging devices 100 are provided so that an overlapping range can be formed, a depth map can be acquired with a shorter man-hour than when one imaging device 100 is provided.

図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。   FIG. 10 illustrates an example of a computer 1200 in which aspects of the invention may be wholly or partially embodied. The program installed in the computer 1200 can cause the computer 1200 to function as an operation associated with the device according to the embodiment of the present invention or one or more “units” of the device. Alternatively, the program can cause the computer 1200 to execute the operation or the one or more “units”. The program can cause the computer 1200 to execute a process or a stage of the process according to the embodiment of the present invention. Such programs may be executed by CPU 1212 to cause computer 1200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。   The computer 1200 according to the present embodiment includes a CPU 1212 and a RAM 1214, which are interconnected by a host controller 1210. Computer 1200 also includes a communication interface 1222, input / output units, which are connected to a host controller 1210 via an input / output controller 1220. Computer 1200 also includes ROM 1230. The CPU 1212 operates according to programs stored in the ROM 1230 and the RAM 1214, and controls each unit.

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。   The communication interface 1222 communicates with another electronic device via a network. A hard disk drive may store programs and data used by CPU 1212 in computer 1200. The ROM 1230 stores therein a boot program executed by the computer 1200 at the time of activation, and / or a program depending on hardware of the computer 1200. The program is provided via a computer-readable recording medium such as a CR-ROM, a USB memory, or an IC card or a network. The program is installed in a RAM 1214 or a ROM 1230, which is an example of a computer-readable recording medium, and is executed by the CPU 1212. The information processing described in these programs is read by the computer 1200 and provides a link between the programs and the various types of hardware resources described above. An apparatus or method may be configured for implementing operations or processing of information according to the use of computer 1200.

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。   For example, when communication is performed between the computer 1200 and an external device, the CPU 1212 executes the communication program loaded on the RAM 1214, and performs communication processing on the communication interface 1222 based on the processing described in the communication program. You may order. The communication interface 1222 reads transmission data stored in a transmission buffer area provided in a recording medium such as a RAM 1214 or a USB memory under the control of the CPU 1212, and transmits the read transmission data to a network, or The reception data received from the network is written in a reception buffer area or the like provided on a recording medium.

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。   Also, the CPU 1212 causes the RAM 1214 to read all or a necessary part of a file or database stored in an external recording medium such as a USB memory, and executes various types of processing on the data on the RAM 1214. Good. The CPU 1212 may then write back the processed data to an external storage medium.

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。   Various types of information such as various types of programs, data, tables, and databases may be stored on the recording medium and subjected to information processing. The CPU 1212 performs various types of operations, information processing, condition determination, conditional branching, unconditional branching, and information search described in various places in the present disclosure and specified by the instruction sequence of the program, on the data read from the RAM 1214. Various types of processing may be performed, including / replace, and the results are written back to RAM 1214. Further, the CPU 1212 may search for information in a file, a database, or the like in the recording medium. For example, when a plurality of entries each having the attribute value of the first attribute associated with the attribute value of the second attribute are stored in the recording medium, the CPU 1212 specifies the attribute value of the first attribute. Searching for an entry matching the condition from the plurality of entries, reading an attribute value of a second attribute stored in the entry, and associating the attribute value with a first attribute satisfying a predetermined condition. The attribute value of the obtained second attribute may be acquired.

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。   The programs or software modules described above may be stored on computer 1200 or on a computer readable storage medium near computer 1200. Also, a recording medium such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, so that the program can be transferred to the computer 1200 via the network. provide.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each processing such as operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before”, “before”. It should be noted that the output can be realized in any order as long as the output of the previous process is not used in the subsequent process. Even if the operation flow in the claims, the specification, and the drawings is described using “first”, “next”, or the like for convenience, it means that it is essential to implement in this order. Not something.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As described above, the present invention has been described using the embodiments, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above-described embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

１０ ＵＡＶ
２０ ＵＡＶ本体
３０ ＵＡＶ制御部
３６ 通信インタフェース
３７ メモリ
４０ 推進部
４１ ＧＰＳ受信機
４２ 慣性計測装置
４３ 磁気コンパス
４４ 気圧高度計
４５ 温度センサ
４６ 湿度センサ
５０ ジンバル
６０ 撮像装置
１００ 撮像装置
１０２ 撮像部
１１０ 撮像制御部
１１２ 取得部
１１４ 算出部
１１６ 生成部
１１８ 合成部
１２０ イメージセンサ
１３０ メモリ
２００ レンズ部
２１０ レンズ
２１２ レンズ駆動部
２１４ 位置センサ
２２０ レンズ制御部
２２２ メモリ
３００ 遠隔操作装置
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ 10 UAV
Reference Signs List 20 UAV body 30 UAV control unit 36 Communication interface 37 Memory 40 Propulsion unit 41 GPS receiver 42 Inertial measurement device 43 Magnetic compass 44 Barometric altimeter 45 Temperature sensor 46 Humidity sensor 50 Gimbal 60 Imaging device 100 Imaging device 102 Imaging unit 110 Imaging control unit 112 acquisition unit 114 calculation unit 116 generation unit 118 synthesis unit 120 image sensor 130 memory 200 lens unit 210 lens 212 lens drive unit 214 position sensor 220 lens control unit 222 memory 300 remote control device 1200 computer 1210 host controller 1212 CPU
1214 RAM
1220 Input / output controller 1222 Communication interface 1230 ROM

Claims (14)

撮像装置の撮像面と前記撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を前記撮像装置に撮像させ、かつ、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが第２位置関係にある状態で、前記第１撮像範囲と異なり、かつ前記第１撮像範囲と重複する第１重複範囲を含む第２撮像範囲を前記撮像装置に撮像させる制御部と、
前記撮像装置に撮像された前記第１撮像範囲の第１撮像画像、及び前記第２撮像範囲の第２撮像画像を取得する取得部と、
前記第１撮像画像に含まれる前記第１重複範囲に対応する第１画像、及び前記第２撮像画像に含まれる前記第１重複範囲に対応する第２画像のそれぞれのぼけ量を算出する算出部と、
前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記第１重複範囲に対応する深度情報を含むデプスマップを生成する生成部と
を備える制御装置。 When the imaging surface of the imaging device and the focus lens of the imaging device are in the first positional relationship, the first imaging range is imaged by the imaging device, and the imaging surface of the imaging device and the focus lens of the imaging device are A controller configured to cause the imaging device to image a second imaging range different from the first imaging range and including a first overlapping range that overlaps with the first imaging range in a state where is in the second positional relationship;
An acquisition unit configured to acquire a first captured image of the first imaging range captured by the imaging device and a second captured image of the second imaging range;
A calculating unit that calculates a blur amount of each of the first image corresponding to the first overlapping range included in the first captured image and the second image corresponding to the first overlapping range included in the second captured image When,
A controller configured to generate a depth map including depth information corresponding to the first overlapping range based on a blur amount of each of the first image and the second image. 前記第１撮像範囲は、前記第２撮像範囲と半分以上重複する、請求項１に記載の制御装置。   The control device according to claim 1, wherein the first imaging range overlaps with the second imaging range by half or more. 前記制御部は、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが第３位置関係にある状態で、前記第２撮像範囲と異なり、かつ前記第２撮像範囲と重複する第２重複範囲を含む第３撮像範囲を前記撮像装置に撮像させ、
前記取得部は、前記撮像装置に撮像された前記第３撮像範囲の第３撮像画像をさらに取得し、
前記算出部は、前記第２撮像画像に含まれる前記第２重複範囲に対応する第３画像、及び前記第３撮像画像に含まれる前記第２重複範囲に対応する第４画像のそれぞれのぼけ量をさらに算出し、
前記生成部は、前記第３画像及び前記第４画像のそれぞれのぼけ量に基づいて、前記第２重複範囲に対応する深度情報をさらに含む前記デプスマップを生成する、請求項１に記載の制御装置。 The control unit is configured to control a second overlapping range different from the second imaging range and overlapping with the second imaging range in a state where an imaging surface of the imaging device and a focus lens of the imaging device are in a third positional relationship. Causing the imaging device to image a third imaging range including
The acquisition unit further acquires a third captured image of the third imaging range captured by the imaging device,
The calculation unit is configured to calculate a blur amount of each of a third image corresponding to the second overlapping range included in the second captured image and a fourth image corresponding to the second overlapping range included in the third captured image. Is further calculated,
The control according to claim 1, wherein the generation unit generates the depth map further including depth information corresponding to the second overlapping range based on a blur amount of each of the third image and the fourth image. apparatus. 前記第２撮像範囲は、前記第３撮像範囲と半分以上重複する、請求項３に記載の制御装置。   The control device according to claim 3, wherein the second imaging range overlaps the third imaging range by half or more. 前記制御部は、前記撮像装置の撮像方向が変化している間に、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが前記第１位置関係にある状態で第１撮像範囲を前記撮像装置に撮像させ、かつ、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが前記第２位置関係にある状態で、前記第２撮像範囲を前記撮像装置に撮像させる、請求項１に記載の制御装置。   The control unit may capture the first imaging range while the imaging direction of the imaging device is changing while the imaging surface of the imaging device and the focus lens of the imaging device are in the first positional relationship. 2. The imaging device according to claim 1, wherein the imaging device causes the imaging device to image the second imaging range in a state where the imaging surface of the imaging device and the focus lens of the imaging device are in the second positional relationship. 3. Control device. 前記制御部は、第１回転目に、前記撮像装置の撮像方向が変化するように第１点を中心に前記撮像装置を回転させている間に、前記撮像装置に前記第１撮像画像、及び前記第２撮像画像を撮像させ、第２回転目に、前記撮像装置の撮像方向が変化するように前記第１点を中心に前記撮像装置を回転させている間に、前記デプスマップに従って、前記撮像装置のフォーカスレンズの位置を制御して、前記撮像装置に新たに複数の撮像画像を撮像させる、請求項５に記載の制御装置。   The control unit controls the imaging device to perform the first captured image while rotating the imaging device around a first point so that an imaging direction of the imaging device changes at a first rotation. According to the depth map, during the second rotation, while rotating the imaging device around the first point so that the imaging direction of the imaging device changes at the second rotation, The control device according to claim 5, wherein a position of a focus lens of the imaging device is controlled to cause the imaging device to newly capture a plurality of captured images. 前記制御部は、前記デプスマップと、前記複数の撮像画像とを関連付けて記憶部に記憶させる、請求項６に記載の制御装置。   The control device according to claim 6, wherein the control unit causes the storage unit to store the depth map and the plurality of captured images in association with each other. 前記制御部は、前記撮像装置が第１軌跡に沿って移動する間に、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが前記第１位置関係にある状態で第１撮像範囲を前記撮像装置に撮像させ、かつ、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが前記第２位置関係にある状態で、前記第２撮像範囲を前記撮像装置に撮像させる、請求項１に記載の制御装置。   The control unit sets the first imaging range in a state where an imaging surface of the imaging device and a focus lens of the imaging device are in the first positional relationship while the imaging device moves along a first trajectory. 2. The imaging device according to claim 1, wherein the imaging device captures an image of the second imaging range while the imaging surface of the imaging device and the focus lens of the imaging device are in the second positional relationship. 3. The control device as described. 前記制御部は、第１回目に、前記撮像装置が前記第１軌跡に沿って移動する間に、前記撮像装置に前記第１撮像画像、及び前記第２撮像画像を撮像させ、第２回目に、前記撮像装置が前記第１軌跡に沿って移動する間に、前記デプスマップに従って、前記撮像装置のフォーカスレンズの位置を制御して、前記撮像装置に新たに複数の撮像画像を撮像させる、請求項８に記載の制御装置。   The control unit controls the imaging device to capture the first captured image and the second captured image while the imaging device moves along the first trajectory for a first time, and a second time. Controlling the position of a focus lens of the imaging device according to the depth map while the imaging device moves along the first trajectory, so that the imaging device newly captures a plurality of captured images. Item 9. The control device according to Item 8. 前記制御部は、前記デプスマップと、前記複数の撮像画像とを関連付けて記憶部に記憶させる、請求項９に記載の制御装置。   The control device according to claim 9, wherein the control unit stores the depth map and the plurality of captured images in a storage unit in association with each other. 請求項１から１０の何れか１つに記載の制御装置と、
前記フォーカスレンズと
を備える撮像装置。 A control device according to any one of claims 1 to 10,
An imaging device comprising the focus lens. 請求項１１に記載の撮像装置を備えて移動する移動体。   A moving body comprising the imaging device according to claim 11. 撮像装置の撮像面と前記撮像装置のフォーカスレンズとが第１位置関係にある状態で第１撮像範囲を前記撮像装置に撮像させ、かつ、前記撮像装置の撮像面と前記撮像装置のフォーカスレンズとが第２位置関係にある状態で、前記第１撮像範囲と異なり、かつ前記第１撮像範囲と重複する第１重複範囲を含む第２撮像範囲を前記撮像装置に撮像させる段階と、
前記撮像装置に撮像された前記第１撮像範囲の第１撮像画像、及び前記第２撮像範囲の第２撮像画像を取得する段階と、
前記第１撮像画像に含まれる前記第１重複範囲に対応する第１画像、及び前記第２撮像画像に含まれる前記第１重複範囲に対応する第２画像のそれぞれのぼけ量を算出する段階と、
前記第１画像及び前記第２画像のそれぞれのぼけ量に基づいて、前記第１重複範囲に対応する深度情報を含むデプスマップを生成する段階と
を備える制御方法。 When the imaging surface of the imaging device and the focus lens of the imaging device are in the first positional relationship, the first imaging range is imaged by the imaging device, and the imaging surface of the imaging device and the focus lens of the imaging device are In a state where is in the second positional relationship, causing the imaging device to image a second imaging range that is different from the first imaging range and includes a first overlapping range that overlaps with the first imaging range;
Obtaining a first captured image of the first imaging range captured by the imaging device and a second captured image of the second imaging range;
Calculating a blur amount of each of the first image corresponding to the first overlapping range included in the first captured image and the second image corresponding to the first overlapping range included in the second captured image; ,
Generating a depth map including depth information corresponding to the first overlapping range based on the respective blur amounts of the first image and the second image. 請求項１から１０の何れか１つに記載の制御装置としてコンピュータを機能させるためのプログラム。   A program for causing a computer to function as the control device according to any one of claims 1 to 10.
JP2018122419A 2018-06-27 2018-06-27 Control device, imaging device, moving object, control method, and program Expired - Fee Related JP6569157B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018122419A JP6569157B1 (en) 2018-06-27 2018-06-27 Control device, imaging device, moving object, control method, and program
CN201980005098.0A CN111226263A (en) 2018-06-27 2019-06-18 Control device, imaging device, mobile body, control method, and program
PCT/CN2019/091780 WO2020001335A1 (en) 2018-06-27 2019-06-18 Control device, imaging device, moving object, control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018122419A JP6569157B1 (en) 2018-06-27 2018-06-27 Control device, imaging device, moving object, control method, and program

Publications (2)

Publication Number Publication Date
JP6569157B1 JP6569157B1 (en) 2019-09-04
JP2020005108A true JP2020005108A (en) 2020-01-09

Family

ID=67844759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018122419A Expired - Fee Related JP6569157B1 (en) 2018-06-27 2018-06-27 Control device, imaging device, moving object, control method, and program

Country Status (3)

Country Link
JP (1) JP6569157B1 (en)
CN (1) CN111226263A (en)
WO (1) WO2020001335A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259168A (en) * 2010-06-08 2011-12-22 Fujifilm Corp Stereoscopic panoramic image capturing device
JP2013044844A (en) * 2011-08-23 2013-03-04 Panasonic Corp Image processing device and image processing method
JP2015017999A (en) * 2011-11-09 2015-01-29 パナソニック株式会社 Imaging device
KR101694890B1 (en) * 2016-03-29 2017-01-13 주식회사 비젼인 Image processing system and method using 2D images from multiple points
WO2018212008A1 (en) * 2017-05-16 2018-11-22 富士フイルム株式会社 Image capturing device and image compositing device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832865A (en) * 1994-07-13 1996-02-02 Nikon Corp Image pickup device
JP2003018438A (en) * 2001-07-05 2003-01-17 Fuji Photo Film Co Ltd Imaging apparatus
US7653298B2 (en) * 2005-03-03 2010-01-26 Fujifilm Corporation Image capturing apparatus, image capturing method, image capturing program, image recording output system and image recording output method
CN101673395B (en) * 2008-09-10 2012-09-05 华为终端有限公司 Image mosaic method and image mosaic device
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
JP5848177B2 (en) * 2012-03-27 2016-01-27 日本放送協会 Multi-focus camera
JP5352003B2 (en) * 2012-12-28 2013-11-27 キヤノン株式会社 Image processing apparatus and image processing method
JP6173156B2 (en) * 2013-10-02 2017-08-02 キヤノン株式会社 Image processing apparatus, imaging apparatus, and image processing method
CN103793909B (en) * 2014-01-21 2016-08-17 东北大学 Single vision global depth information getting method based on diffraction blurring
JP2016066007A (en) * 2014-09-25 2016-04-28 キヤノン株式会社 Imaging apparatus and method for controlling the same
CN105472252B (en) * 2015-12-31 2018-12-21 天津远度科技有限公司 A kind of unmanned plane obtains the system and method for image
JP6700935B2 (en) * 2016-04-25 2020-05-27 キヤノン株式会社 Imaging device, control method thereof, and control program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259168A (en) * 2010-06-08 2011-12-22 Fujifilm Corp Stereoscopic panoramic image capturing device
JP2013044844A (en) * 2011-08-23 2013-03-04 Panasonic Corp Image processing device and image processing method
JP2015017999A (en) * 2011-11-09 2015-01-29 パナソニック株式会社 Imaging device
KR101694890B1 (en) * 2016-03-29 2017-01-13 주식회사 비젼인 Image processing system and method using 2D images from multiple points
WO2018212008A1 (en) * 2017-05-16 2018-11-22 富士フイルム株式会社 Image capturing device and image compositing device

Also Published As

Publication number Publication date
CN111226263A (en) 2020-06-02
WO2020001335A1 (en) 2020-01-02
JP6569157B1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
WO2018185939A1 (en) Imaging control device, imaging device, imaging system, mobile body, imaging control method and program
CN111356954B (en) Control device, mobile body, control method, and program
CN111567032B (en) Specifying device, moving body, specifying method, and computer-readable recording medium
WO2019120082A1 (en) Control device, system, control method, and program
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
JP6790318B2 (en) Unmanned aerial vehicles, control methods, and programs
JP6651693B2 (en) Control device, moving object, control method, and program
JP6503607B2 (en) Imaging control apparatus, imaging apparatus, imaging system, moving object, imaging control method, and program
JP6543875B2 (en) Control device, imaging device, flying object, control method, program
JP6641574B1 (en) Determination device, moving object, determination method, and program
CN111357271B (en) Control device, mobile body, and control method
JP6668570B2 (en) Control device, imaging device, moving object, control method, and program
JP6569157B1 (en) Control device, imaging device, moving object, control method, and program
JP6896963B1 (en) Control devices, imaging devices, moving objects, control methods, and programs
JP6818987B1 (en) Image processing equipment, imaging equipment, moving objects, image processing methods, and programs
JP2021111936A (en) Control device, imaging apparatus, mobile body, control method, and program
JP2020017800A (en) Moving object, control method, and program
JP2020052255A (en) Mobile body, method for control, and program
JP2019008060A (en) Determination device, imaging apparatus, imaging system, mobile body, method for determination, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190718

R150 Certificate of patent or registration of utility model

Ref document number: 6569157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees