JP6473188B2

JP6473188B2 - Method, apparatus and program for generating depth map

Info

Publication number: JP6473188B2
Application number: JP2017062900A
Authority: JP
Inventors: シェン、ユ; リウ、アン; ゾウ、グユエ
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2019-02-20
Anticipated expiration: 2034-11-04
Also published as: JP2017142829A

Description

無人航空機（ＵＡＶ）などの無人輸送体は、多種多様な軍事および民間での用途のために監視、偵察、および探索に関する職務を実行するのに用いられ得る。いくつかの場合において、ＵＡＶは、ある環境において、物体の画像データを生成するためのカメラを運び得る。特定の用途に基づき、カメラの１または複数のパラメータを決定するために、カメラ較正手順が実行され得る。 Unmanned aerial vehicles such as unmanned aerial vehicles (UAVs) can be used to perform surveillance, reconnaissance, and search duties for a wide variety of military and civilian applications. In some cases, the UAV may carry a camera for generating image data of an object in certain circumstances. Based on the specific application, a camera calibration procedure may be performed to determine one or more parameters of the camera.

カメラ較正のための既存のアプローチは、いくつかの場合において最適ではないかもしれない。例えば、いくつかのカメラ較正方法は、複数のカメラを含む画像化システムを較正するのに最適ではないかもしれない。 Existing approaches for camera calibration may not be optimal in some cases. For example, some camera calibration methods may not be optimal for calibrating an imaging system that includes multiple cameras.

本開示は、較正が改善された複数のカメラ、および他の複数のタイプのイメージングデバイスのシステム、方法、およびデバイスを提供する。いくつかの実施形態において、本明細書で説明されている複数の較正技術は、複数の特徴と、１または複数の識別可能な基準マーカとを備える、較正対象の１または複数のイメージングデバイスにより得られた複数の画像を利用する。複数の基準マーカは、複数の画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴の複数のグローバル座標との間の対応付けを容易にするために用いられ得る。決定された対応に基づき、複数のイメージングデバイスに関する１または複数の較正パラメータ（例えば、複数の外部および／または内部パラメータ）が計算され得る。本開示のいくつかの態様は、較正対象の全体の一部のみ（例えば、較正対象上の複数の特徴全てのうちの一部のみ）を描写する複数の画像を用いた複数の較正パラメータの決定を可能とする。有利に、このアプローチは、特に複数のイメージングデバイスの較正に関して、較正処理の改善された正確性および柔軟性を提供する。 The present disclosure provides systems, methods, and devices for multiple cameras and other types of imaging devices with improved calibration. In some embodiments, the plurality of calibration techniques described herein are obtained by one or more imaging devices to be calibrated comprising a plurality of features and one or more identifiable reference markers. Use multiple images. The plurality of reference markers can be used to facilitate association between a plurality of image coordinates of a plurality of features in a plurality of images and a plurality of global coordinates of a corresponding plurality of features on the calibration target. Based on the determined correspondence, one or more calibration parameters (eg, multiple external and / or internal parameters) for multiple imaging devices may be calculated. Some aspects of the present disclosure determine a plurality of calibration parameters using a plurality of images that depict only a portion of the entire calibration object (eg, only some of all of the plurality of features on the calibration object). Is possible. Advantageously, this approach provides improved accuracy and flexibility of the calibration process, particularly with respect to calibration of multiple imaging devices.

したがって、一態様において、１または複数のイメージングデバイスを較正するための方法が提供される。方法は、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像を１または複数のイメージングデバイスのそれぞれから受信する段階と、
複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係を、１または複数のプロセッサの補助を受けて決定する段階と、
空間的関係に基づき、および１または複数のプロセッサの補助を受け、複数の画像の各画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化する段階と、
対応に基づき、および１または複数のプロセッサの補助を受け、１または複数のイメージングデバイスに関する複数の較正パラメータを決定する段階と
を備え、
１または複数の基準マーカはそれぞれ、複数の画像の各画像において一意に識別可能であり、
複数の画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含む。 Accordingly, in one aspect, a method for calibrating one or more imaging devices is provided. The method is
Receiving, from each of the one or more imaging devices, a plurality of images to be calibrated comprising a plurality of features arranged in a repeating pattern and one or more reference markers;
Determining the spatial relationship between one or more reference markers in each of the plurality of images and one or more reference markers on the calibration object with the assistance of one or more processors;
Based on the spatial relationship and with the assistance of one or more processors, a plurality of image coordinates of the features in each image of the plurality of images and a plurality of global coordinates for the corresponding features on the calibration object Formulating the correspondence between,
Determining a plurality of calibration parameters for one or more imaging devices based on the correspondence and with the assistance of one or more processors, and
Each of the one or more reference markers is uniquely identifiable in each image of the plurality of images;
The plurality of images includes at least one image that captures only some of the plurality of features.

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。 In some embodiments, the one or more imaging devices are mounted by an unmanned aerial vehicle.

いくつかの実施形態において、複数の画像の各画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。１または複数のイメージングデバイスのそれぞれからの複数の画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。 In some embodiments, each image of the plurality of images captures one or more reference markers and at least a subset of the plurality of features on the calibration object. Multiple images from each of the one or more imaging devices may be taken at different positions and orientations relative to the calibration object.

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの画像は、４つの外側の角の少なくとも１つを除外し得る。 In some embodiments, the calibration object is a checkerboard that includes a plurality of squares, and the plurality of features includes a plurality of corner points of the plurality of squares. Each of the one or more reference markers may be positioned in one of the plurality of squares. The plurality of features may include four outer corners of the checkerboard and the at least one image may exclude at least one of the four outer corners.

いくつかの実施形態において、１または複数の基準マーカは少なくとも３つの基準マーカを含む。１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含み得る。１または複数の基準マーカは、繰り返しパターンに重ねられ得る。１または複数の基準マーカは、較正対象上の不規則な多角形の複数の頂点を形成し得る。１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含み得る。 In some embodiments, the one or more reference markers includes at least three reference markers. The one or more reference markers may include a plurality of circular dots, triangles, or quadrilaterals. One or more reference markers may be superimposed on the repeating pattern. The one or more reference markers may form irregular polygonal vertices on the calibration object. The one or more fiducial markers can include three fiducial markers that form a plurality of vertices of an isosceles or unequal triangle.

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別する段階を有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。 In some embodiments, the one or more fiducial markers form a plurality of vertices of an irregular polygon in the plurality of images, and the step of determining the spatial relationship includes the irregular polygon in the plurality of images. Identifying correspondence between the plurality of vertices and the plurality of irregular polygon vertices on the calibration object. The features may be arranged in a repeating pattern on the plane, and the one or more reference markers may form a shape that is non-rotational symmetric in the plane.

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。定式化する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。 In some embodiments, the one or more imaging devices include a first camera and a second camera that capture multiple images at substantially the same time. The formulating step may include identifying a plurality of features present in both the image obtained by the first camera and the corresponding image obtained by the second camera. The plurality of calibration parameters may include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices. The plurality of calibration parameters may include the position and orientation of each of the one or more imaging devices relative to the calibration object.

他の態様において、１または複数のイメージングデバイスを較正するためのシステムが提供される。システムは、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像をキャプチャするようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
１または複数の基準マーカはそれぞれ、複数の画像の各画像において一意に識別可能であり、
複数の画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含み、
１または複数のプロセッサは集合的に、または個々に、
１または複数のイメージングデバイスのそれぞれから複数の画像を受信し、
複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係を決定し、
１または複数の基準マーカの、予め定められた複数のグローバル座標に基づき、複数の画像の各画像における複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化し、
対応に基づき、１または複数のイメージングデバイスに関する複数の較正パラメータを決定するよう構成されている。 In another aspect, a system for calibrating one or more imaging devices is provided. the system,
One or more imaging devices each configured to capture a plurality of images to be calibrated including a plurality of features arranged in a repeating pattern and one or more reference markers;
With one or more processors,
Each of the one or more reference markers is uniquely identifiable in each image of the plurality of images;
The plurality of images includes at least one image that captures only a portion of all of the plurality of features,
One or more processors may be collectively or individually;
Receiving a plurality of images from each of one or more imaging devices;
Determining a spatial relationship between one or more reference markers in each image of the plurality of images and one or more reference markers on the calibration object;
Based on a plurality of predetermined global coordinates of one or more reference markers, a plurality of image coordinates of a plurality of features in each image of a plurality of images, and a plurality of global coordinates relating to a plurality of corresponding features on the calibration target Formulate the correspondence between and
Based on the correspondence, the plurality of calibration parameters for the one or more imaging devices are determined.

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、空間的関係を決定する段階は、複数の画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することを有する。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。 In some embodiments, the one or more fiducial markers form a plurality of vertices of an irregular polygon in the plurality of images, and the step of determining the spatial relationship includes the irregular polygon in the plurality of images. Identifying a correspondence between a plurality of vertices and a plurality of irregular polygon vertices on the calibration object. The features may be arranged in a repeating pattern on the plane, and the one or more reference markers may form a shape that is non-rotational symmetric in the plane.

他の態様において、１または複数のイメージングデバイスを用いて複数の深度マップを生成するための方法が提供される。方法は、
１または複数のイメージングデバイスのそれぞれから１または複数の画像を得る段階と、
１または複数のプロセッサの補助を受け、３次元深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき１または複数のイメージングデバイスのそれぞれからの１または複数の画像を処理する段階と
を備え、
複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
１または複数の基準マーカはそれぞれ、複数の較正画像の各較正画像内で一意に識別可能であり、
複数の較正画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む。 In another aspect, a method is provided for generating a plurality of depth maps using one or more imaging devices. The method is
Obtaining one or more images from each of the one or more imaging devices;
Processing one or more images from each of the one or more imaging devices based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map with the assistance of one or more processors. And
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices,
The calibration object includes a plurality of features arranged in a repeating pattern and one or more reference markers,
Each of the one or more reference markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The plurality of calibration images includes at least one calibration image that captures only a portion of all of the plurality of features.

いくつかの実施形態において、１または複数のイメージングデバイスは無人航空機により搭載される。深度マップは、無人航空機からの、１または複数の物体の複数の距離を示す情報を含み得る。 In some embodiments, the one or more imaging devices are mounted by an unmanned aerial vehicle. The depth map may include information indicating multiple distances of one or more objects from the unmanned aerial vehicle.

いくつかの実施形態において、複数の較正画像の各較正画像は、１または複数の基準マーカと、較正対象上の複数の特徴の少なくともサブセットとをキャプチャしている。複数のイメージングデバイスのそれぞれからの複数の較正画像は、較正対象に対して異なる複数の位置および向きで撮像され得る。 In some embodiments, each calibration image of the plurality of calibration images captures one or more reference markers and at least a subset of the plurality of features on the calibration object. A plurality of calibration images from each of a plurality of imaging devices may be taken at different positions and orientations with respect to the calibration object.

いくつかの実施形態において、較正対象は、複数の正方形を含むチェッカー盤であり、複数の特徴は複数の正方形の複数の角点を含む。１または複数の基準マーカはそれぞれ、複数の正方形の１つの中に位置付けられ得る。複数の特徴は、チェッカー盤の４つの外側の角を含み得、少なくとも１つの較正画像は、４つの外側の角の少なくとも１つを除外し得る。 In some embodiments, the calibration object is a checkerboard that includes a plurality of squares, and the plurality of features includes a plurality of corner points of the plurality of squares. Each of the one or more reference markers may be positioned in one of the plurality of squares. The features may include four outer corners of the checkerboard, and the at least one calibration image may exclude at least one of the four outer corners.

いくつかの実施形態において、１または複数の基準マーカは、複数の画像における不規則な多角形の複数の頂点を形成し、複数の較正パラメータは、少なくとも、複数の較正画像における不規則な多角形の複数の頂点と、較正対象上の不規則な多角形の複数の頂点との間の対応を識別することにより決定される。複数の特徴は、平面上で繰り返しパターンに配置され得、１または複数の基準マーカは、平面内で非回転対称である形状を形成し得る。 In some embodiments, the one or more reference markers form a plurality of vertices of an irregular polygon in the plurality of images, and the plurality of calibration parameters are at least the irregular polygon in the plurality of calibration images. And the correspondence between the vertices of the irregular polygon on the object to be calibrated. The features may be arranged in a repeating pattern on the plane, and the one or more reference markers may form a shape that is non-rotational symmetric in the plane.

いくつかの実施形態において、１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む。１または複数の画像を処理する段階は、第１カメラにより得られた画像および第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別する段階を有し得る。１または複数の画像を処理する段階は、第１カメラによりキャプチャされた画像と、第２カメラによりキャプチャされた対応する画像との間の視差を決定する段階を有し得る。複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含み得る。複数の較正パラメータは、較正対象に対する１または複数のイメージングデバイスのそれぞれの位置および向きを含み得る。１または複数の画像を処理する段階は、１または複数の画像の少なくとも１つにおける光学的歪みを低減する段階を有し得る。 In some embodiments, the one or more imaging devices include a first camera and a second camera that capture multiple images at substantially the same time. Processing the one or more images may include identifying features present in both the image obtained by the first camera and the corresponding image obtained by the second camera. Processing the one or more images may include determining a parallax between an image captured by the first camera and a corresponding image captured by the second camera. The plurality of calibration parameters may include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices. The plurality of calibration parameters may include the position and orientation of each of the one or more imaging devices relative to the calibration object. Processing the one or more images may include reducing optical distortion in at least one of the one or more images.

他の態様において、１または複数のイメージングデバイスを用いて複数の深度マップを生成するためのシステムが提供される。システムは、
複数の画像を得るようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え得、
１または複数のプロセッサは集合的に、または個々に、
１または複数のイメージングデバイスのそれぞれから１または複数の画像を得、
３次元深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき１または複数のイメージングデバイスのそれぞれからの１または複数の画像を処理するよう構成され、
複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
１または複数の基準マーカはそれぞれ、複数の較正画像の各較正画像内で一意に識別可能であり、
複数の較正画像は、複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む。 In another aspect, a system is provided for generating a plurality of depth maps using one or more imaging devices. the system,
One or more imaging devices each configured to obtain a plurality of images;
One or more processors, and
One or more processors may be collectively or individually;
Obtaining one or more images from each of the one or more imaging devices;
Configured to process one or more images from each of the one or more imaging devices based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map;
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices,
The calibration object includes a plurality of features arranged in a repeating pattern and one or more reference markers,
Each of the one or more reference markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The plurality of calibration images includes at least one calibration image that captures only a portion of all of the plurality of features.

本願発明の異なる複数の態様が、個々に、集合的に、または互いに組み合わせて認識さ得ることが理解されよう。本明細書に説明されている本願発明の様々な態様は、以下に明記される特定の複数の用途のうち何れかに、または任意の他の複数のタイプの複数の可動物体のために適用され得る。本明細書における航空機についてのいずれの説明も、任意の輸送体など任意の可動物体に当てはまり得、それらのために用いられ得る。追加的に、空中での動き（例えば、飛行）に関する文脈で本明細書に開示されている複数のシステム、デバイス、および方法は、地上または水上での動き、水面下での動き、または宇宙空間での動きなど他の複数のタイプの動きに関する文脈にも適用され得る。さらに、本明細書におけるロータまたはロータ組立体についてのいずれの説明も、回転により推進力を生成するよう構成された任意の推進システム、デバイス、または機構（例えば、プロペラ、車輪、車軸）に当てはまり得、それらのために用いられ得る。 It will be appreciated that different aspects of the present invention may be recognized individually, collectively or in combination with each other. The various aspects of the invention described herein apply to any of the specific applications specified below, or for any other types of movable objects. obtain. Any description of an aircraft herein can be applied to and used for any movable object, such as any vehicle. Additionally, the systems, devices, and methods disclosed herein in the context of motion in the air (eg, flight) can be performed on the ground or on the water, below the surface, or in space. It can also be applied to other types of contexts related to movement, such as movement at. Furthermore, any description of a rotor or rotor assembly herein may apply to any propulsion system, device, or mechanism (eg, propeller, wheel, axle) that is configured to generate propulsion by rotation. Can be used for them.

本願発明の他の複数の目的および特徴は、明細書、複数の請求項、および添付の複数の図面を検討することにより明らかとなろう。
参照による組み込み Other objects and features of the present invention will become apparent upon review of the specification, the claims, and the accompanying drawings.
Include by reference

本明細書で言及される全ての出版物、特許、および特許出願は、それぞれの個々の出版物、特許、または特許出願が具体的に、および個々に参照により組み込まれることが示されているのと同じ程度、参照により本明細書に組み込まれる。 All publications, patents, and patent applications mentioned in this specification are shown with each individual publication, patent, or patent application specifically and individually incorporated by reference. Are incorporated herein by reference to the same extent.

本願発明の複数の新規な特徴は、特に添付の複数の請求項に明記されている。本願発明の複数の特徴および利点のより良い理解は、本願発明の複数の原理が利用される例示的な複数の実施形態を明記する以下の詳細な説明、および添付の複数の図面の参照により得られるであろう。 The novel features of the invention are set forth with particularity in the appended claims. A better understanding of the features and advantages of the present invention may be obtained by reference to the following detailed description that sets forth illustrative embodiments, in which the principles of the invention are utilized, and the accompanying drawings of which: Will be done.

複数の実施形態に係る、単眼カメラのモデルを示す。2 shows a monocular camera model, according to embodiments.

複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデルを示す。Fig. 6 illustrates a model for mapping from a global coordinate system to an image coordinate system, according to embodiments.

複数の実施形態に係る、イメージングデバイスの較正に用いるのに適した較正対象を示す。Fig. 4 illustrates a calibration object suitable for use in calibration of an imaging device, according to embodiments.

複数の実施形態に係る、チェッカー盤較正対象の複数の画像を示す。Fig. 6 illustrates a plurality of images of a checkerboard calibration target according to embodiments.

複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。FIG. 6 illustrates a plurality of reference markers that are uniquely identifiable based on relative arrangements according to embodiments. 複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。FIG. 6 illustrates a plurality of reference markers that are uniquely identifiable based on relative arrangements according to embodiments.

複数の実施形態に係る、複数の基準マーカを有する較正対象を示す。Fig. 6 illustrates a calibration object having a plurality of reference markers according to embodiments.

複数の実施形態に係る、１または複数の基準マーカを有する較正対象を用いて１または複数のイメージングデバイスを較正するための方法を示す。4 illustrates a method for calibrating one or more imaging devices using a calibration object having one or more reference markers, according to embodiments.

複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。FIG. 7 illustrates identification of features to be calibrated and reference markers in an image according to embodiments. 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。FIG. 7 illustrates identification of features to be calibrated and reference markers in an image according to embodiments. 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。FIG. 7 illustrates identification of features to be calibrated and reference markers in an image according to embodiments. 複数の実施形態に係る、画像における較正対象の複数の特徴および複数の基準マーカの識別を示す。FIG. 7 illustrates identification of features to be calibrated and reference markers in an image according to embodiments.

複数の実施形態に係る、双眼カメラの較正における複数の座標系間の複数の空間的関係のモデルを示す。FIG. 6 illustrates models of multiple spatial relationships between multiple coordinate systems in binocular camera calibration, according to embodiments. FIG.

複数の実施形態に係る、複数の歪み画像座標および歪み補正画像座標間のマッピングのモデルを示す。Fig. 6 shows a model of mapping between a plurality of distortion image coordinates and distortion correction image coordinates, according to embodiments.

複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。6 illustrates an image modification procedure for a binocular camera system, according to embodiments. 複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。6 illustrates an image modification procedure for a binocular camera system, according to embodiments.

複数の実施形態に係る、画像修正を実行する処理の結果得られる複数の双眼カメラ画像を示す。5 shows a plurality of binocular camera images obtained as a result of a process of performing image correction according to embodiments.

複数の実施形態に係る、画像データから複数の深度マップを生成するための方法を示す。6 illustrates a method for generating a plurality of depth maps from image data, according to embodiments.

複数の実施形態に係るＵＡＶを示す。2 shows a UAV according to embodiments.

複数の実施形態に係る、支持機構と積載物とを含む可動物体を示す。Fig. 6 illustrates a movable object including a support mechanism and a load according to embodiments.

複数の実施形態に係る、可動物体を制御するためのシステムを示す。1 illustrates a system for controlling a movable object, according to embodiments.

本開示は、カメラなどの複数のイメージングデバイスの較正を実行するために改善されたシステム、方法、およびデバイスを提供する。本明細書に説明されている複数のアプローチは、１または複数のイメージングデバイスを用いて較正対象の複数の画像を得ることを伴い得る。較正対象は、複数の特徴と１または複数の基準マーカとを含み得る。複数の画像のいくつかが較正対象の複数の特徴の全てをキャプチャしていないときでも、複数の画像における複数の特徴の画像座標と、較正対象の複数の特徴のグローバル座標との間の対応付けを容易にするために、１または複数の基準マーカは識別可能であり得る。このアプローチは、複数のイメージングデバイスのそれぞれが較正対象の全体の画像データを得ることが困難である、例えば、複数のイメージングデバイスが同時に較正されているときなど複数の状況においても、正確かつ信頼性の高い較正を提供するために有利であり得る。追加的に、そのような複数のアプローチは、より大きな複数の較正対象の使用を可能とし、このことは、結果として得られる複数の較正パラメータの正確性を向上させ得る。 The present disclosure provides improved systems, methods, and devices for performing calibration of multiple imaging devices such as cameras. The multiple approaches described herein may involve obtaining multiple images to be calibrated using one or more imaging devices. The calibration object may include a plurality of features and one or more reference markers. Correspondence between image coordinates of multiple features in multiple images and global coordinates of multiple features to be calibrated, even when some of the multiple images do not capture all of the multiple features to be calibrated In order to facilitate, one or more fiducial markers may be identifiable. This approach is accurate and reliable even in multiple situations where each of the multiple imaging devices has difficulty obtaining the entire image data to be calibrated, for example when multiple imaging devices are calibrated simultaneously. Can be advantageous to provide high calibration. Additionally, such multiple approaches allow the use of larger multiple calibration objects, which can improve the accuracy of the resulting multiple calibration parameters.

本明細書に説明されている複数の技術は、可動物体により搭載される１または複数のイメージングデバイスを用いる視覚ベースのナビゲーションなどの、画像化および画像化データを伴う多種多様な用途における使用のために実装され得る。例として、本開示の複数のシステム、方法、およびデバイスは、無人航空機（ＵＡＶ）により搭載される１または複数のカメラを較正するのに用いられ得る。１または複数のカメラのそれぞれは、少なくとも３つの、チェッカー盤の複数の正方形に重ねられた円形の基準マーカを有するチェッカー盤較正対象の複数の画像をキャプチャするのに用いられ得る。複数の基準マーカは、画像データにおいてキャプチャされている複数の角点に対応するチェッカー盤の複数の角点の複数のグローバル座標の決定を容易にするよう、複数の画像において一意に識別可能であり得る。この対応情報は、ＵＡＶの複数のカメラのための複数の較正パラメータを決定するのに用いられ得る。複数のカメラによりキャプチャされる続く画像データは、例えば、周囲環境の、および／または同環境内の複数の物体の複数の３次元（３Ｄ）深度マップを生成するために、複数の較正パラメータに基づいて処理され得る。 The techniques described herein are for use in a wide variety of applications involving imaging and imaging data, such as vision-based navigation using one or more imaging devices mounted by moving objects. Can be implemented. By way of example, the systems, methods, and devices of the present disclosure may be used to calibrate one or more cameras that are mounted by an unmanned aerial vehicle (UAV). Each of the one or more cameras may be used to capture a plurality of images of a checkerboard calibration target having at least three circular fiducial markers superimposed on the checkerboard squares. Multiple reference markers can be uniquely identified in multiple images to facilitate the determination of multiple global coordinates of multiple corner points of the checkerboard corresponding to multiple corner points captured in the image data obtain. This correspondence information can be used to determine a plurality of calibration parameters for a plurality of UAV cameras. Subsequent image data captured by multiple cameras is based on multiple calibration parameters, for example, to generate multiple 3D (3D) depth maps of the surrounding environment and / or multiple objects in the environment. Can be processed.

本明細書に説明されている複数の技術は、１または複数のイメージングデバイス（例えば、カメラ、スキャナ等）を較正するのに用いられ得る。本明細書において「ビジョンセンサ」とも呼ばれ得るイメージングデバイスは、電磁放射（例えば、可視光、赤外線、および／または紫外線）を検出し、検出された電磁放射に基づき画像データを生成するよう構成され得る。例えば、イメージングデバイスは、電荷結合素子（ＣＣＤ）センサ、または光の複数の波長に応答して複数の電気信号を生成する相補型金属酸化物半導体（ＣＭＯＳ）センサを含み得る。結果として得られる複数の電気信号は、処理されて画像データを生成し得る。イメージングデバイスにより生成される画像データは、複数の静止画（例えば、写真）、複数の動画（例えば、ビデオ）、またはこれらの適した複数の組み合わせであり得る１または複数の画像を含み得る。画像データは、多色（例えば、ＲＧＢ、ＣＭＹＫ、ＨＳＶ）、または単色（例えば、グレースケール、白黒、セピア）であり得る。 The techniques described herein can be used to calibrate one or more imaging devices (eg, cameras, scanners, etc.). An imaging device, which may also be referred to herein as a “vision sensor”, is configured to detect electromagnetic radiation (eg, visible light, infrared, and / or ultraviolet light) and generate image data based on the detected electromagnetic radiation. obtain. For example, the imaging device may include a charge coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor that generates multiple electrical signals in response to multiple wavelengths of light. The resulting plurality of electrical signals can be processed to generate image data. The image data generated by the imaging device may include one or more images that may be a plurality of still images (eg, photographs), a plurality of moving images (eg, videos), or a suitable combination of these. The image data can be multicolor (eg, RGB, CMYK, HSV) or single color (eg, grayscale, black and white, sepia).

本開示の複数のイメージングデバイスは、本明細書に説明されている複数の可動物体の１または複数によってなど、様々なタイプの物体によって運ばれ得る。イメージングデバイスは、物体の上方、下方、側方、またはその内部など、物体の任意の適した部分に位置付けられ得る。いくつかのイメージングデバイスは、物体の空間的配置および／または動きが複数のイメージングデバイスの空間的配置および／または動きに対応するように、物体に機械的に接続され得る。イメージングデバイスは、イメージングデバイスが取り付けられた物体の一部に対して動かないように、剛性の接続部材を介して物体に接続され得る。代替的に、イメージングデバイスと物体との間の接続は、物体に対するイメージングデバイスの動きを可能とし得る。接続は、永久的な接続、または非永久的な（例えば、解放可能な）接続であり得る。適した複数の接続方法は、接着剤、ボンディング、溶接、および／または留め具（例えば、ねじ、釘、ピン等）を含み得る。オプションで、イメージングデバイスは、物体の一部と一体的に形成され得る。さらに、イメージングデバイスは、イメージングデバイスにより収集されたデータが、本明細書に説明されている複数の実施形態など物体の様々な機能（例えば、ナビゲーション、制御、推進、ユーザまたは他のデバイスとの通信等）のために用いられることを可能とするよう物体の一部（例えば、プロセッシングユニット、制御システム、データストレージ）と電気的に接続され得る。 Multiple imaging devices of the present disclosure may be carried by various types of objects, such as by one or more of the multiple movable objects described herein. The imaging device may be positioned on any suitable portion of the object, such as above, below, to the side, or within the object. Some imaging devices may be mechanically connected to the object such that the spatial arrangement and / or movement of the object corresponds to the spatial arrangement and / or movement of the plurality of imaging devices. The imaging device may be connected to the object via a rigid connection member so that it does not move relative to the part of the object to which the imaging device is attached. Alternatively, the connection between the imaging device and the object may allow movement of the imaging device relative to the object. The connection can be a permanent connection or a non-permanent (eg, releasable) connection. Suitable connection methods may include adhesives, bonding, welding, and / or fasteners (eg, screws, nails, pins, etc.). Optionally, the imaging device may be integrally formed with a part of the object. In addition, the imaging device allows data collected by the imaging device to be used for various functions of the object (eg, navigation, control, propulsion, communication with a user or other device) such as the embodiments described herein. Etc.) can be electrically connected to a part of the object (eg, processing unit, control system, data storage) to allow it to be used for.

いくつかの実施形態において、複数のイメージングデバイスはＵＡＶにより搭載される。例えば、ＵＡＶは、小型の（例えば、１０ｋｇ以下の重量を有する、１．５ｍ以下の最大寸法を有する）ＵＡＶであり得る。ＵＡＶは、複数のプロペラにより空中を動くよう推進されるマルチロータ航空機（例えば、クアッドコプター）などロータクラフトであり得る。本明細書に説明されている複数のＵＡＶは、（例えば、搭載されているコントローラなど適したコンピューティングシステムによって）完全に自律的に、半自律的に、または（例えば、人であるユーザによって）手動で操作され得る。ＵＡＶは、適したエンティティ（例えば、人であるユーザまたは自律制御システム）から複数のコマンドを受信し、１または複数の動作を実行することによりそのような複数のコマンドに応答し得る。例えば、ＵＡＶは、地上から離陸する、（例えば、最大３つの並進自由度で、および最大３つの回転自由度で）空中を動く、対象の位置へ、または一連の対象位置へ動く、空中をホバリングする、地上に着陸する、およびその他のことをするよう制御され得る。他の例として、ＵＡＶは、（例えば、最大３つの並進自由度で、および最大３つの回転自由度で）指定された速度および／または加速度で、または指定された移動経路に沿って動くよう制御され得る。さらに、複数のコマンドは、本明細書に説明されている複数のコンポーネントなど１または複数のＵＡＶコンポーネント（例えば、センサ、アクチュエータ、推進ユニット、積載物等）を制御するのに用いられ得る。 In some embodiments, multiple imaging devices are mounted by UAV. For example, the UAV can be a small UAV (eg, having a maximum dimension of 1.5 m or less, having a weight of 10 kg or less). A UAV may be a rotorcraft, such as a multi-rotor aircraft (eg, a quadcopter) that is propelled to move through the air by a plurality of propellers. The plurality of UAVs described herein may be fully autonomous, semi-autonomous (eg, by a suitable computing system such as an onboard controller), or (eg, by a human user). Can be operated manually. A UAV may receive multiple commands from a suitable entity (eg, a human user or an autonomous control system) and respond to such multiple commands by performing one or more operations. For example, a UAV takes off from the ground, moves in the air (eg, with up to 3 translational degrees of freedom, and with up to 3 rotational degrees of freedom), moves to a target location, or a series of target locations, hovers in the air , Landing on the ground, and other things can be controlled. As another example, the UAV is controlled to move at a specified speed and / or acceleration (eg, with up to 3 translational degrees of freedom and up to 3 rotational degrees of freedom) or along a specified path of travel. Can be done. Further, the plurality of commands may be used to control one or more UAV components (eg, sensors, actuators, propulsion units, loads, etc.), such as the components described herein.

いくつかの実施形態において、イメージングデバイスはカメラであり得る。本明細書に提供されている特定の複数の実施形態はカメラに関する文脈で説明されているが、本開示は、任意の適したイメージングデバイスに適用され得、複数のカメラに関連する本明細書におけるいずれの説明も、他の複数のタイプの複数のイメージングデバイスにも適用され得ることが理解されるであろう。３Ｄシーン（例えば、環境、１または複数の物体等）の複数の２Ｄ画像を生成するのにカメラが用いられ得る。カメラにより生成される複数の画像は、２Ｄ画像平面への３Ｄシーンの投射を表し得る。したがって、２Ｄ画像における各点は、シーンにおける３Ｄ空間座標に対応する。 In some embodiments, the imaging device can be a camera. Although the specific embodiments provided herein are described in the context of a camera, the present disclosure can be applied to any suitable imaging device and is here related to multiple cameras. It will be appreciated that any description may apply to other types of imaging devices. A camera can be used to generate multiple 2D images of a 3D scene (eg, environment, one or more objects, etc.). The plurality of images generated by the camera may represent a projection of a 3D scene onto a 2D image plane. Thus, each point in the 2D image corresponds to 3D spatial coordinates in the scene.

図１は、複数の実施形態に係る、単一のカメラ（単眼カメラ）のモデル１００を示す。モデル１００は、グローバル座標系１０２と、カメラ座標系１０４と、画像平面座標系１０６と、画素座標系１０８とを含む。本明細書において「グローバル座標系」とも呼ばれ得るグローバル座標系１０２は、カメラによりキャプチャされたシーン、および／またはカメラが動作している環境の基準枠を表す。グローバル座標系１０２は、座標原点Ｏ_ｗと、複数の３Ｄ座標軸Ｘ_ｗ、Ｙ_ｗ、Ｚ_ｗとを有する。いくつかの実施形態において、グローバル座標系１０２は、以下にさらに詳細に説明されるように、較正対象などのシーンにおける関心対象の物体に関して定義され得る。カメラ座標系１０４は、カメラの基準枠を表し、座標原点Ｏ_ｃと、複数の３Ｄ座標軸Ｘ_ｃ、Ｙ_ｃ、Ｚ_ｃとを有する。軸Ｚ_ｃは、外に向かう方向が正の方向であるカメラの光軸に対応し得る。 FIG. 1 shows a model 100 of a single camera (monocular camera), according to embodiments. The model 100 includes a global coordinate system 102, a camera coordinate system 104, an image plane coordinate system 106, and a pixel coordinate system 108. Global coordinate system 102, which may also be referred to herein as a “global coordinate system”, represents a reference frame of the scene captured by the camera and / or the environment in which the camera is operating. The global coordinate system 102 has a coordinate origin O _w and a plurality of 3D coordinate axes X _w , Y _w , and Z _w . In some embodiments, the global coordinate system 102 may be defined with respect to an object of interest in a scene, such as a calibration object, as described in more detail below. The camera coordinate system 104 represents a reference frame of the camera, and has a coordinate origin O _c and a plurality of 3D coordinate axes X _c , Y _c , and Z _c . Axis Z _c is the direction toward the outside may correspond to the optical axis of the camera is a positive direction.

本明細書において「画像座標系」とも呼ばれ得る画像平面座標系１０６と画素座標系１０８とは、カメラにより生成される画像の基準枠を表す。画像平面座標系は、座標原点Ｏ_ｐと複数の２Ｄ座標軸Ｘ_ｐ、Ｙ_ｐとを有する。画像内の複数の画素の複数の位置は、画像の左上角の座標原点と複数の２Ｄ座標軸ｕ、ｖとを有する画素座標系１０８の観点から表され得る。ｕ軸は、画像の複数の行と平行であり得、右方向が正の方向であり、ｖ軸は、画像の複数の列と平行であり得、下方の方向が正の方向である。いくつかの実施形態において、カメラ座標系１０４は、画像平面座標系１０６と画素座標系１０８と位置合わせされ得る。例えば、カメラ座標系１０４のＸ_ｃ軸は、画像の複数の行と平行であり得、画素座標系１０８のｕ軸と同じ方向に位置合わせされ得る。同様に、カメラ座標系１０４のＹ_ｃ軸は、画像の複数の列と平行であり得、画素座標系１０８のｖ軸と同じ方向に位置合わせされ得る。 The image plane coordinate system 106 and the pixel coordinate system 108, which may be referred to as “image coordinate system” in this specification, represent a reference frame of an image generated by the camera. The image plane coordinate system has a coordinate origin O _p and a plurality of 2D coordinate axes X _p , Y _p . The plurality of positions of the plurality of pixels in the image can be represented in terms of a pixel coordinate system 108 having a coordinate origin at the upper left corner of the image and a plurality of 2D coordinate axes u and v. The u-axis can be parallel to multiple rows of the image, the right direction is a positive direction, and the v-axis can be parallel to multiple columns of the image, with the downward direction being the positive direction. In some embodiments, the camera coordinate system 104 may be aligned with the image plane coordinate system 106 and the pixel coordinate system 108. For example, the _Xc axis of the camera coordinate system 104 can be parallel to multiple rows of the image and can be aligned in the same direction as the u axis of the pixel coordinate system 108. Similarly, the _Yc axis of the camera coordinate system 104 may be parallel to multiple columns of the image and may be aligned in the same direction as the v axis of the pixel coordinate system 108.

図１は単一のイメージングデバイスを描写しているが、本明細書に説明されている複数の実施形態は、１台、２台、３台、４台、５台、またはより多くのイメージングデバイスなど任意の適した数のイメージングデバイスに適用され得ることが理解されよう。複数のイメージングデバイスは全て、同じタイプのものであり得る。代替的に、複数のイメージングデバイスの少なくともいくつかは、異なる複数のタイプのものであり得る。複数のイメージングデバイスは、互いに対して所望されるように位置付けられ、方向付けられ得る。例えば、本明細書に提供されている様々な実施形態は、２つのイメージングデバイス（双眼視）、例えば、左カメラおよび右カメラを利用する。複数のイメージングデバイスは、各イメージングデバイスの視界が異なるように、異なる複数の位置および向きに位置付けられ得る。複数のイメージングデバイスの複数の視野は重なり得る。いくつかの実施形態において、複数のイメージングデバイスはそれぞれ、異なる複数の位置および／または向きからの同じシーンの画像データを提供する。複数のイメージングデバイスは、同時に、またはおよそ同時にシーンの複数の画像をキャプチャするよう構成され得る。代替的に、いくつかのイメージングデバイスは、他の複数のイメージングデバイスとは異なる複数の時間に複数の画像をキャプチャするよう構成され得る。 Although FIG. 1 depicts a single imaging device, the embodiments described herein can be one, two, three, four, five, or more imaging devices. It will be appreciated that it can be applied to any suitable number of imaging devices. The plurality of imaging devices can all be of the same type. Alternatively, at least some of the plurality of imaging devices may be of different types. Multiple imaging devices may be positioned and oriented as desired with respect to each other. For example, the various embodiments provided herein utilize two imaging devices (binocular vision), such as a left camera and a right camera. The plurality of imaging devices may be positioned at a plurality of different positions and orientations such that each imaging device has a different field of view. Multiple fields of view of multiple imaging devices can overlap. In some embodiments, each of the plurality of imaging devices provides image data of the same scene from a plurality of different positions and / or orientations. The multiple imaging devices may be configured to capture multiple images of the scene at the same time or approximately the same time. Alternatively, some imaging devices may be configured to capture multiple images at different times than other multiple imaging devices.

いくつかの実施形態において、１または複数のイメージングデバイスにより収集された、シーンの２Ｄ画像データを用いてシーンの３Ｄ情報を得ることが望ましいかもしれない。例えば、様々な用途は、シーンの複数の２Ｄ画像（例えば、異なる複数の位置および向きで撮像された複数の画像）に基づき、シーンの３Ｄ再構築（例えば、ポイントクラウド、占有格子、深度マップ、視差マップなどの３Ｄモデル等）を生成することを伴い得る。複数のイメージングデバイスが用いられる複数の実施形態において、以下にさらに詳細に説明されるように、３Ｄ再構築は、異なる複数の位置および／または向きに位置付けられた複数のイメージングデバイスにより得られた画像データ間の複数の視差に基づき生成され得る。代替的に、または組み合わせて、３Ｄ情報は、単一のイメージングデバイスから、例えば、ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎまたは他の適した複数の技術を用いて得られる画像データからも復元され得る。結果として得られる３Ｄ再構築は、シーンに関する様々なタイプの量的情報、例えば、複数の物体の複数の空間的な位置（例えば、カメラ、複数の他の物体からの距離）、物体の複数の寸法（例えば、長さ、幅、高さ）を決定するのに用いられ得る。この情報は、多種多様な用途、例えば、コンピュータビジョン、物体認識、トラッキング、姿勢の推定、自己運動の決定等において有用であり得る。例えば、ＵＡＶの動作に関する文脈において、シーン再構築は、ナビゲーション、障害物回避、マッピング、対象トラッキングおよび同様のものなどの複数の機能性のために役立ち得る。 In some embodiments, it may be desirable to obtain 3D information of a scene using 2D image data of the scene collected by one or more imaging devices. For example, various applications are based on multiple 2D images of a scene (eg, multiple images taken at different locations and orientations), and 3D reconstruction of the scene (eg, point cloud, occupancy grid, depth map, Generating a 3D model such as a parallax map). In embodiments where multiple imaging devices are used, as described in further detail below, 3D reconstruction is an image obtained by multiple imaging devices positioned at different locations and / or orientations. It can be generated based on multiple parallaxes between data. Alternatively or in combination, 3D information can also be recovered from image data obtained from a single imaging device, eg, using structure-from-motion or other suitable techniques. The resulting 3D reconstruction is based on various types of quantitative information about the scene, eg, multiple spatial positions of multiple objects (eg, camera, distance from other objects), multiple multiple of objects It can be used to determine dimensions (eg, length, width, height). This information can be useful in a wide variety of applications, such as computer vision, object recognition, tracking, posture estimation, self-motion determination, and the like. For example, in the context of UAV operation, scene reconstruction may be useful for multiple functionalities such as navigation, obstacle avoidance, mapping, object tracking, and the like.

いくつかの実施形態において、本明細書に説明されている複数のシーン再構築技術は、シーンの画像における複数の画像座標と実際のシーンの（グローバル座標としても知られる）複数のグローバル座標との間の対応を決定することを伴う。この対応は、様々な座標系、例えば、グローバル座標系、カメラ座標系、および画像座標系の間の複数の変換または複数のマッピングを決定することにより識別され得る。これらのマッピングを規定する複数の数学的関係は、シーン、複数のイメージングデバイス、および画像平面の複数のモデル、例えば、ピンホールカメラモデルに基づき決定され得る。 In some embodiments, the multiple scene reconstruction techniques described herein may include multiple image coordinates in an image of a scene and multiple global coordinates (also known as global coordinates) of an actual scene. Entails determining the correspondence between. This correspondence can be identified by determining multiple transformations or multiple mappings between various coordinate systems, eg, global coordinate system, camera coordinate system, and image coordinate system. The plurality of mathematical relationships that define these mappings may be determined based on a scene, a plurality of imaging devices, and a plurality of models of image planes, such as a pinhole camera model.

図２は、複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデル２００を示す。マッピングモデル２００は、世界、カメラ、および画像座標系間の複数の関係を描写している。マッピングモデル２００は、画像化処理（例えば、シーンにおける物体の複数のグローバル座標を画像における複数の画像座標に投射すること）、および再構築処理（例えば、画像における複数の画像座標を用いてシーンにおける物体の複数のグローバル座標を復元すること）を説明するのに用いられ得る。 FIG. 2 illustrates a model 200 for mapping from a global coordinate system to an image coordinate system, according to embodiments. The mapping model 200 depicts multiple relationships between the world, the camera, and the image coordinate system. The mapping model 200 includes an imaging process (eg, projecting a plurality of global coordinates of an object in the scene onto a plurality of image coordinates in the image) and a reconstruction process (eg, using a plurality of image coordinates in the image in the scene). Can be used to describe the restoration of multiple global coordinates of an object).

グローバル座標系は、数式
によりカメラ座標系に関連付けられ得る。ここで、Ｒは回転行列であり、Ｔは並進ベクトルであり、カメラ座標系がグローバル座標系に対してそれぞれどのように方向付けられ、位置付けられているかを示す。複数のカメラ座標は、対応する複数の画像平面座標を得るためにスケーリングされ得る。
Global coordinate system is a mathematical formula
Can be associated with the camera coordinate system. Here, R is a rotation matrix, T is a translation vector, and indicates how the camera coordinate system is oriented and positioned with respect to the global coordinate system. The plurality of camera coordinates can be scaled to obtain a corresponding plurality of image plane coordinates.

カメラが光学的なレンズの歪み（例えば、半径方向の歪み、偏心的な歪み、薄いプリズムの歪み）を有する複数の実施形態において、歪みＸ_ｄ、Ｙ_ｄのある複数の画像平面座標は、以下の歪みに関する数式からなど、当業者に公知である複数の技術を用いて、複数の画像平面座標から決定され得る。
ここで、
およびｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２、ｓ_１、ｓ_２は、歪みパラメータｋ_１、ｋ_２、ｋ_３は半径方向の歪みパラメータであり、ｐ_１、ｐ_２は、偏心的な歪みパラメータであり、ｓ_１、ｓ_２は、薄いプリズムの歪みパラメータである）。いくつかの実施形態において、複数のパラメータのうち４つのみ（例えば、ｋ_１、ｋ_２、ｐ_１、ｐ_２）が計算される。 In embodiments where the camera has optical lens distortion (eg, radial distortion, eccentric distortion, thin prism distortion), the plurality of image plane coordinates with distortions X _d , Y _d are: Can be determined from a plurality of image plane coordinates using a number of techniques known to those skilled in the art, such as from a mathematical equation relating to
here,
And k ₁ , k ₂ , k ₃ , p ₁ , p ₂ , s ₁ , s ₂ are distortion parameters k ₁ , k ₂ , k ₃ are radial distortion parameters, and p ₁ , p ₂ are eccentricity And s ₁ and s ₂ are thin prism distortion parameters). In some embodiments, only four of the plurality of parameters (eg, k ₁ , k ₂ , p ₁ , p ₂ ) are calculated.

複数の画素座標は、以下の関係を用いて得られ得る。
ここで、Ｍはカメラ内部行列であり、ｕ_０、ｖ_０は（光軸が画像平面と交差する、画像中心としても知られる）主点の複数の座標であり、
であり、ここで、ｆは、カメラの焦点距離であり、ａ_ｘ、ａ_ｙは、それぞれ水平方向および鉛直方向の画素寸法である。 A plurality of pixel coordinates can be obtained using the following relationship.
Where M is the camera internal matrix, u ₀ , v ₀ are the coordinates of the principal point (also known as the image center, where the optical axis intersects the image plane),
Where f is the focal length of the camera, and a _x and a _y are the pixel dimensions in the horizontal and vertical directions, respectively.

図３は、複数の実施形態に係る、グローバル座標系から画像座標系へのマッピングのモデル２５０を示す。グローバル座標系、カメラ座標系、歪み補正画像平面座標系、歪み画像平面座標系、および画素座標系間の複数の関係は、図２のマッピングモデル２００に関して本明細書に説明されているものと同様であり得る。マッピングモデル２００と同様に、マッピングモデル２５０は、画像化処理（例えば、複数のグローバル座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を複数の画素座標（ｕ，ｖ）に投射）を説明するのに用いられ得る。物体の複数のグローバル座標は、画像歪み補正を行って、歪み補正された複数の画素座標（ｕ'，ｖ'）を得、その後、歪み補正された複数の画素座標を用いて複数のグローバル座標を再構築することにより、複数の画素座標から復元され得る。 FIG. 3 illustrates a model 250 for mapping from a global coordinate system to an image coordinate system, according to embodiments. The plurality of relationships among the global coordinate system, camera coordinate system, distortion corrected image plane coordinate system, distortion image plane coordinate system, and pixel coordinate system are similar to those described herein with respect to the mapping model 200 of FIG. It can be. Similar to the mapping model 200, the mapping model 250 describes the imaging process (eg, projecting multiple global coordinates ( _Xw , _Yw , _Zw ) to multiple pixel coordinates (u, v)). Can be used. A plurality of global coordinates of the object are subjected to image distortion correction to obtain a plurality of pixel coordinates (u ′, v ′) corrected for distortion, and then a plurality of global coordinates using the plurality of pixel coordinates corrected for distortion. Can be reconstructed from multiple pixel coordinates.

画像データからのシーン再構築を正確に実行するために、本明細書に説明されている複数のマッピングと関連付けられた複数のイメージングデバイスの１または複数のパラメータを決定または推定することが有益であるかもしれない。これらのパラメータは、複数の外部パラメータ（各イメージングデバイスが較正対象に対してどのように位置付けられ、方向付けられているかを示す回転行列Ｒおよび並進ベクトルＴ）と、複数の内部パラメータ（焦点距離、主点の位置、画素サイズに関する情報を含む内部行列Ｍ、光学的歪みパラメータｋ_１、ｋ_２、ｋ_３、ｐ_１、ｐ_２、ｓ_１、ｓ_２）とを含み得る。複数のイメージングデバイスが用いられる複数の実施形態において、複数の外部パラメータは、以下にさらに詳細に説明されるように、複数のイメージングデバイスが互いに対してどのように位置付けられ、方向付けられているのかを示す、複数のイメージングデバイスの複数のカメラ座標系間で変換を行うための複数の回転行列および並進ベクトルも含み得る。１または複数のイメージングデバイスの複数の外部および／または内部パラメータを得る処理は、「カメラ較正」と本明細書において呼ばれ得る。 In order to accurately perform scene reconstruction from image data, it is beneficial to determine or estimate one or more parameters of multiple imaging devices associated with multiple mappings described herein. It may be. These parameters include a plurality of external parameters (rotation matrix R and translation vector T indicating how each imaging device is positioned and oriented with respect to the calibration object) and a plurality of internal parameters (focal length, The position of the principal point, an internal matrix M containing information on the pixel size, optical distortion parameters k ₁ , k ₂ , k ₃ , p ₁ , p ₂ , s ₁ , s ₂ ). In embodiments where multiple imaging devices are used, the multiple external parameters are how the multiple imaging devices are positioned and oriented relative to each other, as described in more detail below. Can also include a plurality of rotation matrices and translation vectors for converting between the plurality of camera coordinate systems of the plurality of imaging devices. The process of obtaining a plurality of external and / or internal parameters of one or more imaging devices may be referred to herein as “camera calibration”.

カメラ較正は、複数のイメージングデバイスがＵＡＶなどの可動物体に搭載される、またはそれにより搭載されるときに特に有用であり得る。そのような複数の可動物体の動作は、例えば、較正パラメータに影響し得る複数の振動および他の複数の動きに起因して、複数のイメージングデバイスの位置および／または向きの複数の変化を引き起こし得る。可動物体により搭載される複数のイメージングデバイスの較正は、可動物体が動作している間に（オンライン較正）、および／または可動物体が動作していない間に（オフライン較正）生じ得る。例えば、ＵＡＶにより搭載される複数のカメラのためのオフライン較正は、ＵＡＶの電源が切られている、および／またはＵＡＶが飛行していないときに実行され得、他方、オンライン較正は、ＵＡＶの電源が入れられている、および／またはＵＡＶが飛行している間に実行され得る。 Camera calibration may be particularly useful when multiple imaging devices are mounted on or mounted on a movable object such as a UAV. Such movement of multiple movable objects can cause multiple changes in position and / or orientation of multiple imaging devices due to, for example, multiple vibrations and other movements that can affect calibration parameters. . Calibration of multiple imaging devices mounted by a movable object may occur while the movable object is operating (online calibration) and / or while the movable object is not operating (offline calibration). For example, offline calibration for a plurality of cameras mounted by the UAV may be performed when the UAV is turned off and / or the UAV is not in flight, while online calibration is performed when the UAV is powered Can be executed while the UAV is on and / or the UAV is flying.

カメラ較正は、様々なやり方で実行され得る。いくつかの実施形態において、較正処理は、複数の特徴を有するシーンの複数の画像を得し、およびその後、複数の画像における複数の特徴の画像座標と、シーンにおける対応する複数の特徴グローバル座標との間の複数の対応を識別することを伴う。その後、（例えば、本明細書に説明されている複数のマッピングモデルに基づき定義される）複数の較正パラメータは、グローバル座標系と画像座標系との間の識別された複数の対応およびマッピングに基づいて推定され得る。例えば、（単一のカメラの複数のパラメータを決定する）単眼較正は、ピンホールカメラモデルに基づき複数の較正パラメータ（例えば、Ｒ、Ｔ、Ｍ）の推定値を生成すること、その後、歪みの影響を推定すること（例えば、複数の歪みパラメータの複数の初期値は０であると仮定される）、その後、最適な複数のカメラ較正パラメータを得るために（例えば、レーベンバーグ・マーカートアルゴリズムを用いて）パラメータ最適化を実行することを伴い得る。 Camera calibration can be performed in various ways. In some embodiments, the calibration process obtains a plurality of images of a scene having a plurality of features, and then a plurality of feature image coordinates in the plurality of images and a corresponding plurality of feature global coordinates in the scene. With identifying multiple correspondences between Thereafter, a plurality of calibration parameters (eg, defined based on a plurality of mapping models described herein) are based on a plurality of identified correspondences and mappings between the global coordinate system and the image coordinate system. Can be estimated. For example, monocular calibration (determining multiple parameters of a single camera) generates an estimate of multiple calibration parameters (eg, R, T, M) based on a pinhole camera model, and then distortion Estimating the impact (eg, multiple initial values of multiple distortion parameters are assumed to be zero), and then obtaining the optimal multiple camera calibration parameters (eg, using the Levenberg-Markert algorithm) Can be used) to perform parameter optimization.

いくつかの実施形態において、世界−画像座標の複数の対応の識別を容易するために較正対象が用いられる。較正対象は、規定の配置の特徴を有する任意の構造であり得る。例えば、較正対象は、１Ｄ（例えば、線形、曲線、または曲線のある形状）、２Ｄ（例えば、平面または他の平坦な面）、または３Ｄ（例えば、立方体、球体、プリズム、２またはそれより多くの交差する平面）であり得る。複数の特徴は、（例えば、複数の画像認識アルゴリズム、複数の特徴抽出アルゴリズム、または他の複数のコンピュータビジョン技術を用いて）画像データから容易に識別可能であり、および、特徴以外のもの（例えば、較正対象の他の複数の部分、シーンにおける他の複数の物体、画像ノイズ）から明らかに区別可能であるように設計され得る。いくつかの実施形態において、複数の特徴は、較正対象の複数の点（例えば、複数の角、頂点、交差点）（本明細書において「特徴点」とも呼ばれる）である。代替的に、または組み合わせて、複数の特徴は、複数の線（例えば、線形、曲線、または曲線のある）、（例えば、２つの異なるように色付けされたエリア間の）複数の縁、複数の幾何学形状（例えば、円、三角形、四辺形等）、記号または文字（例えば、英数字）、またはこれらの適した複数の組み合わせであり得る。追加的に、各特徴の複数の特性（例えば、サイズ、形状、色）は、所望されるように変化させられ得る。 In some embodiments, calibration objects are used to facilitate identification of multiple correspondences of world-image coordinates. The calibration object may be any structure having a defined arrangement feature. For example, the calibration object can be 1D (eg, linear, curved, or curved shape), 2D (eg, planar or other flat surface), or 3D (eg, cube, sphere, prism, 2 or more) Intersecting planes). The features can be easily identified from the image data (eg, using multiple image recognition algorithms, multiple feature extraction algorithms, or other computer vision techniques) and other than features (eg, , Other parts to be calibrated, other objects in the scene, image noise). In some embodiments, the plurality of features are a plurality of points to be calibrated (eg, a plurality of corners, vertices, intersections) (also referred to herein as “feature points”). Alternatively, or in combination, the features may include multiple lines (eg, linear, curved, or curved), multiple edges (eg, between two differently colored areas), multiple It can be a geometric shape (eg, circle, triangle, quadrilateral, etc.), symbol or letter (eg, alphanumeric), or any suitable combination thereof. Additionally, multiple characteristics (eg, size, shape, color) of each feature can be varied as desired.

較正対象は、任意の適した数の特徴、およびそれらの組み合わせを含み得る。例えば、較正対象は、少なくとも１０、２０、３０、４０、５０、６０、７０、８０、９０または１００の特徴を含み得る。比較的多くの特徴を用いることにより、較正処理の正確性が向上させられ得る。いくつかの実施形態において、較正対象は、１つのタイプのみの特徴を含み得、他の複数の実施形態において、対象は、少なくとも２、３、４、５、またはより多くの異なるタイプの特徴など、１つのタイプより多くの特徴を含み得る。複数の特徴は、各特徴の較正対象に対する位置および／または向きが知られるように、較正対象で複数の規定の位置に位置付けられ得る。いくつかの実施形態において、複数の特徴は、所与の複数の寸法（例えば、長さ、幅、高さ、複数の特徴間の間隔）を有する繰り返しパターン（例えば、複数の行および列を有する格子）で較正対象上に配置される。複数の特徴は、較正対象上のそれらの位置および／または向きが変化しないように、静的な複数の特徴であり得る。代替的に、複数の特徴は、位置および／または向きが変化する動的な複数の特徴であり得る。本明細書に説明されている複数の特徴は、較正対象と一体的に形成され得（例えば、対象の一部に印刷される、または塗布される）、または、別々に提供され、対象に接続され得る（例えば、対象の一部に取り付けられる、または貼り付けられる）。 A calibration object may include any suitable number of features and combinations thereof. For example, the calibration object may include at least 10, 20, 30, 40, 50, 60, 70, 80, 90 or 100 features. By using a relatively large number of features, the accuracy of the calibration process can be improved. In some embodiments, the calibration object may include only one type of feature, and in other embodiments, the object may be at least 2, 3, 4, 5, or more different types of features, etc. It may contain more than one type of feature. The features can be positioned at a plurality of defined locations on the calibration target such that the position and / or orientation of each feature relative to the calibration target is known. In some embodiments, the features have a repeating pattern (eg, multiple rows and columns) having a given plurality of dimensions (eg, length, width, height, spacing between features). (Lattice) on the object to be calibrated. The features can be static features so that their position and / or orientation on the calibration object does not change. Alternatively, the features may be dynamic features that change position and / or orientation. The features described herein may be integrally formed with the calibration object (eg, printed or applied to a portion of the object) or provided separately and connected to the object (E.g., attached or affixed to a portion of the subject).

いくつかの実施形態において、較正処理は、較正対象の画像セットを、較正されることになる各イメージングデバイスによりキャプチャすることを伴う。各画像データセットは、較正対象の少なくとも５、１０、１５、２０、２５、３０、３５、４０、４５、５０、またはより多くの画像を含み得る。複数の画像は、異なる複数の位置および／または向きで較正対象を描写し得る。各画像は、画像に存在する複数の特徴を識別し、それらの画像座標を決定するために処理され得る。画像データにおける複数の特徴の複数の画像座標と、較正対象上の複数の特徴の複数のグローバル座標との間の複数の対応が決定され得、その後に続いて、（例えば、本明細書に説明されている複数の数学的関係に基づき）複数の較正パラメータを解くために用いられ得る。オプションで、複数の画像データセットを得るのに複数のイメージングデバイスが用いられる複数の実施形態において、複数の画像データセットに亘る複数の特徴の複数の画像座標間の複数の対応も決定され得、複数のイメージングデバイスに関する複数のパラメータ（例えば、複数のイメージングデバイスの互いに対する位置および／または向き）を推定するために用いられ得る。 In some embodiments, the calibration process involves capturing a set of images to be calibrated by each imaging device to be calibrated. Each image data set may include at least 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, or more images to be calibrated. The plurality of images may depict the calibration object at different positions and / or orientations. Each image can be processed to identify multiple features present in the image and determine their image coordinates. A plurality of correspondences between the plurality of image coordinates of the plurality of features in the image data and the plurality of global coordinates of the plurality of features on the calibration object may be determined, followed by (for example, as described herein) Can be used to solve a plurality of calibration parameters (based on a plurality of mathematical relationships). Optionally, in embodiments where multiple imaging devices are used to obtain multiple image data sets, multiple correspondences between multiple image coordinates of multiple features across multiple image data sets may also be determined, It may be used to estimate a plurality of parameters for a plurality of imaging devices (eg, position and / or orientation of a plurality of imaging devices relative to each other).

図４は、複数の実施形態に係る、イメージングデバイスの較正に用いるのに適した較正対象３００を示す。対象３００は、複数の白色の正方形３０４と交互になっている複数の黒色の正方形３０２の繰り返しパターンを有する平面のチェッカー盤パターンを備える。複数の正方形３０２、３０４のそれぞれは、同じサイズを有し、複数の行および列を有する格子に配置され得る。いくつかの実施形態において、（例えば、複数の円３０５に示されるように）複数の正方形の複数の角点は、イメージングデバイス較正を実行するために較正対象３００の複数の特徴点としての役割を担う。複数の角点は、複数の機械視覚方法を用いて、画像データの他の複数の部分とは区別するのが比較的容易であり得る。代替的に、または組み合わせて、チェッカー盤の他の複数の部分は、較正を目的として対象３００の複数の特徴としての役割を担い得る（例えば、黒色の正方形３０２、白色の正方形３０４等）。対象３００の複数の特徴は、様々な特徴抽出技術を用いて較正対象３００の画像データから識別され得、各特徴の複数の画像座標が決定され得る。この処理は、較正対象３００の幾何学の知識により容易にされ得る。例えば、チェッカー盤の複数の正方形３０２、３０４の複数の角点が較正対象３００の複数の特徴点としての役割を担う複数の実施形態において、複数の正方形のサイズは、隣接する複数の特徴点間の間隔を規定する。したがって、各角点の複数の画像座標は、チェッカー盤内のそれの行および列位置に基づいて決定され得る。 FIG. 4 illustrates a calibration object 300 suitable for use in calibrating an imaging device, according to embodiments. Object 300 comprises a planar checkerboard pattern having a repeating pattern of a plurality of black squares 302 alternating with a plurality of white squares 304. Each of the plurality of squares 302, 304 may have the same size and be arranged in a grid having a plurality of rows and columns. In some embodiments, the plurality of corner points of the plurality of squares (eg, as shown in the plurality of circles 305) serve as feature points of the calibration object 300 to perform the imaging device calibration. Bear. The plurality of corner points may be relatively easy to distinguish from other portions of the image data using a plurality of machine vision methods. Alternatively or in combination, other portions of the checkerboard may serve as features of the object 300 for calibration purposes (eg, black square 302, white square 304, etc.). Multiple features of the object 300 can be identified from the image data of the calibration object 300 using various feature extraction techniques, and multiple image coordinates of each feature can be determined. This process can be facilitated by knowledge of the geometry of the calibration object 300. For example, in a plurality of embodiments in which a plurality of corner points of a plurality of squares 302 and 304 of the checker board serve as a plurality of feature points of the calibration target 300, the size of the plurality of squares is between adjacent feature points. Specify the interval. Thus, the plurality of image coordinates for each corner point can be determined based on its row and column positions within the checkerboard.

対象３００の画像データにおける複数の特徴の複数の画像座標が一旦決定されると、その後、複数の画像座標と、対象３００上の特徴の複数のグローバル座標との間の対応が識別され得る。グローバル座標系は、各特徴の複数のグローバル座標が対象３００の特徴の位置に対応するように、対象３００に対して定義され得る。例えば、グローバル座標系の原点Ｏ_ｗは、チェッカー盤の４つの外側の角（３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ）の１つに位置付けられ得、チェッカー盤の平面は、グローバル座標系のＸ_ｗＹ_ｗ平面に沿って存在する。したがって、複数の角点が較正のための複数の特徴としての役割を担う複数の実施形態において、対象３００上の各角点のＺ_ｗグローバル座標は０であり、各角点のＸ_ｗ，Ｙ_ｗグローバル座標は、チェッカー盤上のそれの２Ｄ位置（例えば、行および列位置）に基づいて決定され得る。 Once the plurality of image coordinates of the plurality of features in the image data of the object 300 are determined, then correspondence between the plurality of image coordinates and the plurality of global coordinates of the features on the object 300 can be identified. A global coordinate system may be defined for the object 300 such that multiple global coordinates for each feature correspond to the position of the feature of the object 300. For example, the origin O _w of the global coordinate system may be located at one of the four outer corners (306a, 306b, 306c, 306d) of the checkerboard, and the plane of the checkerboard may be X _w Y _{w of the} global coordinate system. Exists along a plane. Thus, in embodiments where multiple corner points serve as multiple features for calibration, the Z _w global coordinate of each corner point on the object 300 is 0, and X _w , Y of each corner point _{The w} global coordinate may be determined based on its 2D position (eg, row and column position) on the checkerboard.

図５は、複数の実施形態に係る、対象３００と同様のチェッカー盤較正対象の第１および第２画像３５０、３５２を示す。図５の実施形態において、較正対象は、スクリーン上に表示される画像である。しかし、本明細書に説明されている複数の較正対象は、材料（例えば、１枚の紙）上に印刷されるなど、他の複数の方式でも提供され得ることが理解されるであろう。較正対象の第１の画像３５０および第２の画像３５２は、カメラ較正を実行するために較正画像データセットの一部として、双眼または立体視画像化システムの左カメラおよび右カメラによりそれぞれ得られ得る。特に、較正対象の複数の特徴の全て（例えば、チェッカー盤の複数の角点の全て）が第１および第２画像３５０、３５２の両方において見えるように、画像３５０、３５２は両方とも、較正対象の全体（例えば、チェッカー盤の４つの外側の角、チェッカー盤の４つの外側の縁、黒色および白色の複数の正方形の全て）をキャプチャしている。したがって、第１の画像３５０における複数の特徴（例えば、複数の角点）の画像座標と、第２の画像３５２における対応する複数の特徴画像座標と、較正対象における複数の特徴の複数のグローバル座標との間の複数の対応が識別され、左および右カメラの複数の較正パラメータを決定するために用いられ得る。 FIG. 5 shows first and second images 350, 352 of a checkerboard calibration target similar to the target 300, according to embodiments. In the embodiment of FIG. 5, the calibration object is an image displayed on the screen. However, it will be appreciated that the plurality of calibration objects described herein may be provided in other ways, such as printed on a material (eg, a piece of paper). The first image 350 and the second image 352 to be calibrated can be obtained by the left and right cameras of the binocular or stereoscopic imaging system, respectively, as part of the calibration image data set to perform camera calibration. . In particular, both images 350, 352 are to be calibrated so that all of the features to be calibrated (eg, all of the corner points of the checkerboard) are visible in both the first and second images 350, 352. (Eg, the four outer corners of the checkerboard, the four outer edges of the checkerboard, all of the black and white squares). Accordingly, the image coordinates of a plurality of features (for example, a plurality of corner points) in the first image 350, a plurality of corresponding feature image coordinates in the second image 352, and a plurality of global coordinates of the plurality of features in the calibration target. A plurality of correspondences between the left and right cameras can be identified and used to determine a plurality of calibration parameters for the left and right cameras.

いくつかの実施形態において、各カメラにより得られた較正画像データが較正対象の全体をキャプチャしておらず、複数の特徴全てのうちの一部しか画像内に見えていないことになった場合、特に較正対象が異なる複数のカメラ位置および／または向きから画像化された場合、複数の特徴の画像−グローバル座標の複数の対応を決定することが困難になり得、さらには不可能となり得る。例えば、再び図５を参照すると、第１および第２画像３５０、３５２の少なくとも１つがチェッカー盤較正対象の全体をキャプチャし損ねており（例えば、４つの外側の角の少なくとも１つ、その４つの外側の縁または部分の少なくとも１つ、その黒色および白色の複数の正方形または部分の少なくとも１つを除外しており）、チェッカー盤の複数の角点のサブセットのみが見えている場合、画像における複数の角点と対象上の複数の角点との間の複数の対応は、繰り返すチェッカー盤パターンに起因して不明瞭となり得る。この課題は、いくつかの場合において、特徴点の全てが確実に各カメラの視界内にあるよう較正対象のサイズを小さくする、またはカメラと較正対象との間の距離を長くすることにより避けられ得るが、これらのアプローチは、較正の正確性を低下させ得る。 In some embodiments, if the calibration image data obtained by each camera does not capture the entire calibration object and only some of all of the features are visible in the image, Particularly when the calibration object is imaged from different camera positions and / or orientations, it may be difficult or even impossible to determine multiple image-global coordinate correspondences of multiple features. For example, referring again to FIG. 5, at least one of the first and second images 350, 352 fails to capture the entire checkerboard calibration object (eg, at least one of the four outer corners, its four Excludes at least one of the outer edges or portions, at least one of its black and white squares or portions), and only a subset of the checkerboard's corner points are visible The correspondence between the corner points and the corner points on the object can be obscured due to the repeated checkerboard pattern. This challenge can be avoided in some cases by reducing the size of the calibration object to ensure that all of the feature points are within the field of view of each camera, or by increasing the distance between the camera and the calibration object. However, these approaches can reduce the accuracy of the calibration.

本明細書に説明されている様々な実施形態は、画像データが較正対象および複数の較正対象特徴の全体をキャプチャしていないときでも、カメラの複数の較正パラメータの決定を可能とする改善された複数の較正対象を提供する。いくつかの実施形態において、これらの較正対象は、複数の規定の位置に位置付けられた１または複数の基準マーカを含む。画像データが、異なる複数の位置および／または向きで較正対象を描写している場合であっても、１または複数の基準マーカはそれぞれ、較正対象の画像データにおいて一意に識別可能であり得る。結果として、較正対象の複数の特徴に関する画像−グローバル座標の複数の対応は、明確に各特徴を識別するための複数の空間的な基準として複数の基準マーカを用いることにより、複数の特徴のサブセットのみが画像データにおいて見えるときでも決定され得る。有利に、このアプローチは、画像が複数の基準マーカの全てと複数の較正特徴の少なくともいくつかとをキャプチャしている限り、その画像をカメラ較正のために用いることを可能とし、それにより較正処理の柔軟性およびロバスト性を改善する。このことは、較正対象の全体が各カメラの視界にあるように複数のカメラを配置するのが比較的困難であり得るので、複数のカメラを利用する複数のデバイス、例えば、立体視感知システムを実装するＵＡＶにとって特に有益であり得る。 Various embodiments described herein are improved to allow determination of multiple calibration parameters of a camera even when the image data does not capture the entire calibration target and multiple calibration target features. Provide multiple calibration targets. In some embodiments, these calibration objects include one or more reference markers positioned at a plurality of defined locations. Each of the one or more fiducial markers may be uniquely identifiable in the image data to be calibrated, even if the image data depicts the calibration object at different positions and / or orientations. As a result, multiple image-global coordinate correspondences for multiple features to be calibrated can be obtained by using multiple reference markers as multiple spatial references to clearly identify each feature. Can only be determined when only visible in the image data. Advantageously, this approach allows the image to be used for camera calibration as long as the image captures all of the plurality of fiducial markers and at least some of the plurality of calibration features, thereby enabling the calibration process. Improve flexibility and robustness. This can be relatively difficult to position multiple cameras so that the entire calibration object is in the field of view of each camera, so multiple devices that use multiple cameras, such as stereoscopic vision sensing systems, can be used. It can be particularly beneficial for a UAV to implement.

本明細書に説明されている複数の基準マーカの、形状、サイズ、および色のうち少なくとも１つを含む複数の特性は、所望されるように変化させられ得る。例示的な複数の基準マーカは、複数の幾何学形状（例えば、点、線、円、三角形、四辺形）記号または文字（例えば、英数字）、またはこれらの適した複数の組み合わせを含む。本明細書に提供されている複数の較正対象は、少なくとも１つ、２つ、３つ、４つ、５つ、またはより多くの基準マーカなど任意の適した数の基準マーカを含み得る。いくつかの実施形態において、複数の較正対象は、３つの基準マーカのみを含む。いくつかの実施形態において、本明細書に説明されている複数の較正対象は、単一のタイプの基準マーカのみを含む。代替的に、較正対象は、少なくとも２つ、３つ、４つ、５つ、またはより多くの異なるタイプなど異なる複数のタイプの基準マーカを含み得る。 The plurality of characteristics, including at least one of shape, size, and color, of the plurality of fiducial markers described herein can be varied as desired. Exemplary reference markers include a plurality of geometric shapes (eg, points, lines, circles, triangles, quadrilaterals) symbols or letters (eg, alphanumeric characters), or a suitable combination thereof. The plurality of calibration objects provided herein may include any suitable number of fiducial markers, such as at least one, two, three, four, five, or more fiducial markers. In some embodiments, the plurality of calibration objects includes only three fiducial markers. In some embodiments, the plurality of calibration objects described herein include only a single type of fiducial marker. Alternatively, the calibration object may include different types of fiducial markers, such as at least two, three, four, five, or more different types.

複数の基準マーカの複数の特性は、例えば、複数の画像認識アルゴリズム、特徴抽出アルゴリズム、または他のコンピュータビジョン技術を用いて画像データからの複数の基準マーカの識別を容易するために選択され得る。オプションで、複数の基準マーカは、複数の基準マーカおよび特徴の正確な識別を容易にするよう複数の特徴とは視覚的に明確であり得る。例えば、複数の基準マーカは、複数の特徴とは異なる形状、サイズ、およびは色のうち少なくとも１つを有し得る。他の例として、複数の特徴は、（例えば、１Ｄの線、または２Ｄの面上の）繰り返しパターンで配置され得、他方、複数の基準マーカは繰り返さない。 The plurality of characteristics of the plurality of fiducial markers can be selected to facilitate identification of the plurality of fiducial markers from the image data using, for example, a plurality of image recognition algorithms, feature extraction algorithms, or other computer vision techniques. Optionally, the plurality of reference markers may be visually distinct from the plurality of features to facilitate accurate identification of the plurality of reference markers and features. For example, the plurality of fiducial markers may have at least one of a shape, size, and color that is different from the plurality of features. As another example, the features may be arranged in a repeating pattern (eg, on a 1D line or a 2D surface), while the plurality of reference markers do not repeat.

複数の基準マーカはそれぞれ、較正対象上の異なる位置に位置付けられ得る。いくつかの実施形態において、各特徴と複数の基準マーカの少なくとも１つとの間の空間的関係（例えば、相対的な位置、向き）が知られるように、複数の基準マーカは、規定の配置で複数の較正対象の特徴に対して位置付けられる。例えば、複数の基準マーカは、較正対象の１または複数の特徴と重ねられ得、またはそれらと共に点在させられ得る。他の例として、複数の基準マーカは、１または複数の特徴の近くに、またはそれらと隣接して位置付けられ得る。複数の基準マーカは、全ての基準マーカと複数の特徴の少なくともいくつかとが較正対象の複数の画像において同時に見えるように、較正対象上に位置付けられ得る。 Each of the plurality of fiducial markers can be located at a different position on the calibration object. In some embodiments, the plurality of fiducial markers are in a defined arrangement so that a spatial relationship (eg, relative position, orientation) between each feature and at least one of the plurality of fiducial markers is known. Positioned relative to a plurality of features to be calibrated. For example, a plurality of fiducial markers can be overlaid with or interspersed with one or more features to be calibrated. As another example, a plurality of fiducial markers may be positioned near or adjacent to one or more features. The plurality of fiducial markers can be positioned on the calibration object such that all fiducial markers and at least some of the plurality of features are visible simultaneously in the plurality of images of the calibration object.

画像データが、較正対象の回転および／または並進させられたビューを表す場合であっても、各基準マーカを較正対象の画像データにおいて一意に識別可能とするよう様々な技術が用いられ得る。例えば、各基準マーカは、異なるサイズ、形状、および色のうち少なくとも１つのものであり得、または、他の複数のマーカとは視覚的に区別されることを可能とするように、複数の特性またはマークを含み得る。代替的に、または組み合わせて、複数の基準マーカは、各基準マーカを、それらの相対的配置に基づいて一意に識別可能とするやり方で配置され得る。そのような実施形態において、複数の基準マーカは、（例えば、形状、サイズ、色、または他の複数の特性に関して）同様または同一であり得る。例えば、各基準マーカは、複数の不規則な多角形（例えば、二等辺三角形、不等辺三角形）の頂点を形成するように位置付けられ得る。複数の不規則な多角形の角度の少なくともいくつかは、他の複数の角度とは異なる複数のサイズを有し得る。同様に、複数の不規則な多角形の縁の少なくともいくつかは、他の複数の縁とは異なる複数の長さを有し得る。オプションで、複数の角度の全ては、異なる複数のサイズのものであり得、複数の縁の全ては異なる複数の長さを有し得る。他の例として、較正対象の複数の特徴が平面（例えば、格子など複数の特徴の２Ｄの繰り返しパターン）に配置される複数の実施形態において、複数の基準マーカは、平面内で回転対称である形状を形成し得る。 Various techniques can be used to allow each fiducial marker to be uniquely identifiable in the image data to be calibrated, even if the image data represents a rotated and / or translated view of the calibration object. For example, each fiducial marker can be at least one of a different size, shape, and color, or a plurality of characteristics to allow it to be visually distinguished from other markers. Or it may contain marks. Alternatively or in combination, the plurality of fiducial markers may be arranged in a manner that allows each fiducial marker to be uniquely identifiable based on their relative arrangement. In such embodiments, the plurality of fiducial markers may be similar or identical (eg, with respect to shape, size, color, or other characteristics). For example, each fiducial marker can be positioned to form the vertices of a plurality of irregular polygons (eg, isosceles triangles, unequal triangles). At least some of the angles of the plurality of irregular polygons may have a plurality of sizes different from the other plurality of angles. Similarly, at least some of the plurality of irregular polygon edges may have a plurality of lengths different from other edges. Optionally, all of the plurality of angles can be of different sizes, and all of the plurality of edges can have different lengths. As another example, in embodiments where the features to be calibrated are arranged in a plane (eg, a 2D repeating pattern of features such as a grid), the reference markers are rotationally symmetric in the plane. A shape can be formed.

図６および７は、複数の実施形態に係る、相対的配置に基づいて一意に識別可能である複数の基準マーカを示す。図６は、本明細書において複数の黒色の円として描写されている複数の基準マーカＡ、Ｂ、Ｃの第１のビュー４００を示す。複数の基準マーカＡ、Ｂ、Ｃは、不等辺三角形の複数の頂点を形成するよう互いに対して配置され得る。図７は、第１のビュー４００の回転および並進を表す第２のビュー４１０を示す。非対称であるという三角形の複数の特質に起因して、第２のビュー４１０における基準マーカＡ'、Ｂ'、Ｃ'はそれぞれ、第１のビュー４００における基準マーカＡ、Ｂ、Ｃにそれぞれ対応するものとして一意に識別され得る。いくつかの実施形態において、対応する複数の基準マーカの識別は、第１および第２のビュー４００、４１０における三角形の複数の特徴（例えば、縁、角度）に対する複数の基準マーカの配置に基づき実行される。例えば、図６および７の実施形態において、マーカＢおよびＢ'は両方共、三角形の最も長い縁の反対側に位置付けられ、マーカＣおよびＣ'は両方共、三角形の最も短い縁の反対側に位置付けられる。他の例として、マーカＢおよびＢ'は両方共、三角形の最も大きい内部角の頂点に位置付けられ、マーカＣおよびＣ'は両方共、三角形の最も小さい内部角の頂点に位置付けられる。図６および７の基準マーカは三角形を形成するものとして描写されているが、複数の基準マーカは、他の複数の不規則な多角形（例えば、３つ、４つ、５つ、６つ、またはより多くの頂点を有する不規則な多角形）を形成するよう配置され得ることが認識されよう。このアプローチは、各マーカを、複数の基準マーカを見る位置および／または向きに関わらず一意に識別可能とし得る。 6 and 7 illustrate a plurality of fiducial markers that are uniquely identifiable based on their relative arrangement, according to embodiments. FIG. 6 shows a first view 400 of a plurality of fiducial markers A, B, C, depicted herein as a plurality of black circles. The plurality of reference markers A, B, C can be arranged with respect to each other to form a plurality of vertices of an unequal triangle. FIG. 7 shows a second view 410 that represents rotation and translation of the first view 400. Due to the characteristics of the triangle being asymmetric, the reference markers A ′, B ′, C ′ in the second view 410 respectively correspond to the reference markers A, B, C in the first view 400. Can be uniquely identified. In some embodiments, identification of corresponding reference markers is performed based on the placement of the reference markers relative to the triangular features (eg, edges, angles) in the first and second views 400, 410. Is done. For example, in the embodiment of FIGS. 6 and 7, markers B and B ′ are both positioned on the opposite side of the longest edge of the triangle, and markers C and C ′ are both on the opposite side of the shortest edge of the triangle. Positioned. As another example, markers B and B ′ are both positioned at the vertex of the largest interior angle of the triangle, and markers C and C ′ are both positioned at the vertex of the smallest interior angle of the triangle. Although the fiducial markers in FIGS. 6 and 7 are depicted as forming a triangle, the fiducial markers can be other irregular polygons (eg, three, four, five, six, It will be appreciated that it may be arranged to form (or irregular polygons with more vertices). This approach may allow each marker to be uniquely identifiable regardless of the position and / or orientation of viewing multiple reference markers.

図８は、複数の実施形態に係る、基準マーカ５０２ａ、５０２ｂ、５０２ｃを有する較正対象５００を示す。較正対象３００と同様に、較正対象５００は、互い違いになっている黒色および白色の複数の正方形の繰り返しパターンを有するチェッカー盤を含む。図８の実施形態において、基準マーカ５０２ａ〜ｃは、チェッカー盤の異なる白色の正方形内にそれぞれ位置付けられた同一の複数の黒色の円である。しかし、代替的な複数の実施形態において、基準マーカ５０２ａ〜ｃの少なくともいくつかが複数の黒色の正方形内に位置付けられた白色の円であり得ることが認識されよう。基準マーカ５０２ａ〜ｃは、較正対象５００上でチェッカー盤に対して、知られている位置において位置付けられ、例えば、各マーカの行および列位置は知られている。各基準マーカ５０２ａ〜ｃは、チェッカー盤の異なる部分（例えば、異なる行および／または列位置）に位置決めされ得る。いくつかの実施形態において、基準マーカ５０２ａ〜ｃは、不規則な三角形の複数の頂点を形成するよう対象５００上に配置される。したがって、対象５００の画像が３つの基準マーカ５０２ａ〜ｃの全てを含む場合、対象５００のいくつかのみが見える（例えば、チェッカー盤の４つの外側の角、４つの外側の縁、複数の黒色の正方形、および／または複数の白色の正方形の少なくとも１つが画像から除外されている）場合であっても、各基準マーカ５０２ａ〜ｃは一意に識別可能である。各基準マーカ５０２ａ〜ｃが一旦画像データにおいて識別されると、画像における複数の基準マーカと較正対象５００上の複数の基準マーカとの間の空間的関係（例えば、回転、変形）が決定され得る。この空間的関係はその後、画像データにおいて描写されている各特徴（例えば、角点）の複数のグローバル座標を決定するのに用いられ得る。 FIG. 8 shows a calibration object 500 having fiducial markers 502a, 502b, 502c, according to multiple embodiments. Similar to calibration object 300, calibration object 500 includes a checkerboard having a repeating pattern of alternating black and white squares. In the embodiment of FIG. 8, the fiducial markers 502a-c are the same plurality of black circles each positioned within a different white square of the checkerboard. However, it will be appreciated that in alternative embodiments, at least some of the reference markers 502a-c may be white circles positioned within a plurality of black squares. The reference markers 502a-c are positioned at known positions with respect to the checkerboard on the calibration object 500, for example, the row and column positions of each marker are known. Each fiducial marker 502a-c may be positioned at a different portion (eg, a different row and / or column position) of the checkerboard. In some embodiments, fiducial markers 502a-c are placed on the object 500 to form a plurality of vertices of an irregular triangle. Thus, if the image of the object 500 includes all three fiducial markers 502a-c, only some of the objects 500 are visible (eg, the four outer corners of the checkerboard, the four outer edges, the multiple black Each fiducial marker 502a-c is uniquely identifiable even if it is a square and / or at least one of a plurality of white squares is excluded from the image. Once each reference marker 502a-c is identified in the image data, the spatial relationship (eg, rotation, deformation) between the plurality of reference markers in the image and the plurality of reference markers on the calibration object 500 can be determined. . This spatial relationship can then be used to determine a plurality of global coordinates for each feature (eg, corner point) depicted in the image data.

図９は、複数の実施形態に係る、１または複数の基準マーカを含む較正対象を用いて１または複数のイメージングデバイスを較正するための方法６００を示す。方法６００の複数の段階の少なくともいくつかは、１または複数のプロセッサによってなど、適したコンピューティングシステムまたはデバイスによって実施され得る。複数のイメージングデバイスが可動物体により搭載される複数の実施形態において、方法６００の複数の段階のいくつかまたは全てが、可動物体が動作していないときに実行され得る（オフライン較正）。代替的に、複数の段階のいくつかまたは全てが、可動物体が動作している間に実行され得る（オンライン較正）。 FIG. 9 illustrates a method 600 for calibrating one or more imaging devices with a calibration object that includes one or more fiducial markers, according to embodiments. At least some of the stages of method 600 may be performed by a suitable computing system or device, such as by one or more processors. In embodiments where multiple imaging devices are mounted by a movable object, some or all of the multiple stages of method 600 may be performed when the movable object is not operating (offline calibration). Alternatively, some or all of the stages can be performed while the movable object is operating (online calibration).

段階６１０において、較正対象の複数の画像が、１または複数のイメージングデバイス（例えば、１または複数のカメラ）のそれぞれから受信される。較正対象は、本明細書において前に説明されるように、複数の特徴および１または複数の基準マーカを含み得る。複数の特徴は、任意の適した構成、例えば、格子などの繰り返しパターンで配置され得る。１または複数の基準マーカは、上記にて説明されるように、複数の画像において一意に識別可能であるように設計され得る。各イメージングデバイスにより提供される複数の画像は、較正対象に対して異なる複数の位置および／または向きで撮像された複数の画像を含み得る。各画像は、基準マーカの全て、および、較正対象の複数の特徴の少なくともいくつかをキャプチャし得る。いくつかの実施形態において、複数のイメージングデバイスにより生成される複数の画像の少なくとも１つは、較正対象の複数の特徴全てのうちの一部しかキャプチャしていない。 In step 610, a plurality of images to be calibrated are received from each of one or more imaging devices (eg, one or more cameras). The calibration object may include a plurality of features and one or more fiducial markers as previously described herein. The features can be arranged in any suitable configuration, for example, a repeating pattern such as a grid. The one or more fiducial markers can be designed to be uniquely identifiable in the multiple images, as described above. The plurality of images provided by each imaging device may include a plurality of images taken at different positions and / or orientations relative to the calibration object. Each image may capture all of the fiducial markers and at least some of the features to be calibrated. In some embodiments, at least one of the plurality of images generated by the plurality of imaging devices captures only a portion of all of the plurality of features to be calibrated.

段階６２０において、各イメージングデバイスにより提供される複数の画像の各画像における複数の特徴および１または複数の基準マーカが識別される。例えば、各画像は、画像において見える複数の基準マーカおよび複数の特徴を識別するよう、様々なコンピュータビジョンアルゴリズムを用いて処理され得る。いくつかの実施形態において、アルゴリズムは、識別を容易にするために、複数の基準マーカおよび／または特徴の知られている複数の特性（例えば、形状、サイズ、色、相対的配置）に関する情報に基づいて実行され得る。複数の基準マーカおよび／または特徴が一旦識別されると、それらは、画像内のそれらの画素位置を表わす複数の画像座標が割り当てられ得る。例えば、円形の基準マーカに関する複数の画像座標は、円の中心の複数の座標であり得る。オプションで、識別の正確性を向上させるために、例えば、ノイズを低減すること、分析に関して適していないと見なされる複数の画像を破棄すること、およびその他のことにより複数の画像は識別手順の前に補正され得、および／または前処理され得る。 At stage 620, features and one or more reference markers in each image of the plurality of images provided by each imaging device are identified. For example, each image can be processed using various computer vision algorithms to identify multiple reference markers and multiple features visible in the image. In some embodiments, the algorithm may provide information on multiple known properties (eg, shape, size, color, relative placement) of multiple reference markers and / or features to facilitate identification. Can be executed based on. Once multiple reference markers and / or features have been identified, they can be assigned multiple image coordinates that represent their pixel locations within the image. For example, the plurality of image coordinates for the circular reference marker may be a plurality of coordinates at the center of the circle. Optionally, to improve the accuracy of the identification, for example, reduce the noise, discard multiple images that are deemed unsuitable for analysis, and so on. Can be corrected and / or pre-processed.

図１０、図１１、図１２、および図１３は、複数の実施形態に係る、画像における較正対象の複数の特徴および基準マーカの識別を示す。図１０は、対象５００と同様に、３つの黒色の円形の基準マーカを含むチェッカー盤較正対象の一部をキャプチャしている画像を示す。特に、画像は、チェッカー盤の複数の角点のいくつかのみが見えるように、較正対象の特定の複数の部分、例えば、チェッカー盤の左上および左下の角、チェッカー盤の左縁を除外している。しかし、３つの基準マーカ全ておよび複数の基準マーカの近くの複数の角点が見える。３つの基準マーカが不規則な多角形を形成するように較正対象上に配置されているので、較正対象のいくつかの領域が画像によりキャプチャされていないが、複数の基準マーカはそれぞれ一意に識別可能である。図１１は、チェッカー盤の複数の正方形の複数の角点を識別する処理に続く図１０の画像を示す。複数の角点は、本明細書において前に説明されるように、カメラ較正のための複数の特徴としての役割を担い得る。いくつかの実施形態において、角点識別アルゴリズムが失敗した（例えば、角点が識別されなかった）場合、画像は無効であると見なされる。図１２は、複数の基準マーカを識別する処理に続く図１０の画像を示す。複数の円形の基準マーカは、ハフ変換などの適した複数の検出方法を用いて識別され得る。アルゴリズムが任意の基準マーカを識別し損ねた場合、画像は無効であると見なされ得る。 10, 11, 12, and 13 illustrate the identification of features to be calibrated and reference markers in an image, according to embodiments. FIG. 10 shows an image capturing a portion of a checkerboard calibration object that includes three black circular fiducial markers, similar to the object 500. In particular, the image excludes certain parts of the calibration object, such as the upper left and lower left corners of the checkerboard, the left edge of the checkerboard, so that only some of the corner points of the checkerboard are visible. Yes. However, all three reference markers and multiple corner points near the multiple reference markers are visible. Three reference markers are placed on the calibration object to form an irregular polygon, so some areas of the calibration object are not captured by the image, but each of the multiple reference markers is uniquely identified Is possible. FIG. 11 shows the image of FIG. 10 following the process of identifying the corner points of the squares of the checkerboard. The multiple corner points may serve as multiple features for camera calibration, as previously described herein. In some embodiments, if the corner point identification algorithm fails (eg, no corner point was identified), the image is considered invalid. FIG. 12 shows the image of FIG. 10 following the process of identifying a plurality of reference markers. The plurality of circular fiducial markers can be identified using a plurality of suitable detection methods such as Hough transforms. If the algorithm fails to identify any fiducial markers, the image can be considered invalid.

いくつかの実施形態において、基準マーカ検出アルゴリズムは、誤検知を生成し得る。例えば、画像の、基準マーカではない複数の領域を識別し得る。例えば、図１２の画像は、画像の、基準マーカではない複数の部分が誤って識別されたいくつかのエラー結果を含む。このことは、例えば、検出アルゴリズムが、複数の基準マーカを識別するのに形状認識（例えば、円の認識）に頼っており、同様の形状の複数の物体が画像において見えるときに生じ得る。図１３は、誤検知の発生を低減させるための、図１２の結果のフィルタリングを示す。複数の基準マーカが較正対象の複数の特徴と共に点在させられている、またはそれらと重ねられている複数の実施形態において、画像データは、識別された複数の特徴の凸閉包内のものに基準マーカ識別結果を限定するようフィルタリングされ得る。図１３において、識別された複数の角点の凸閉包の外側にある複数の誤検知が取り除かれている。複数の基準マーカは、複数の基準マーカの相対的配置の知識に基づいて、残っている複数の結果から決定され得る。いくつかの実施形態において、各結果に関する位置情報（例えば、行および列情報および／または複数の画像座標）が決定され得る。位置情報セットはその後、互いに正しい空間的関係にある複数の基準マーカを識別するよう分析され得る。例えば、再び図１３を参照すると、対象上の複数の基準マーカが三角形の複数の頂点を形成していることが知られており、三角形の複数の特質（例えば、縁の長さ、角度）は予め定められているので、この幾何学的制約を満たすであろうセットを識別するために複数の結果が検索され得る。そのような結果が見つからなかった場合、または１より多くのセットの結果が見つかった場合、画像は無効であると見なされ得る。 In some embodiments, the reference marker detection algorithm may generate false positives. For example, multiple regions of the image that are not reference markers can be identified. For example, the image of FIG. 12 includes several error results in which multiple portions of the image that are not fiducial markers have been misidentified. This can occur, for example, when the detection algorithm relies on shape recognition (eg, circle recognition) to identify multiple reference markers, and multiple objects of similar shape are visible in the image. FIG. 13 shows the filtering of the results of FIG. 12 to reduce the occurrence of false positives. In embodiments where a plurality of fiducial markers are interspersed with or overlaid with features to be calibrated, the image data is referenced to those within the convex hull of the identified features. It can be filtered to limit the marker identification results. In FIG. 13, the plurality of false detections outside the convex hull of the identified plurality of corner points is eliminated. A plurality of fiducial markers can be determined from the remaining results based on knowledge of the relative placement of the plurality of fiducial markers. In some embodiments, location information (eg, row and column information and / or multiple image coordinates) for each result may be determined. The location information set can then be analyzed to identify multiple reference markers that are in the correct spatial relationship with each other. For example, referring again to FIG. 13, it is known that a plurality of reference markers on the object form a plurality of vertices of a triangle, and a plurality of characteristics of the triangle (eg, edge length, angle) are As predetermined, multiple results can be searched to identify sets that will satisfy this geometric constraint. If no such result is found, or if more than one set of results is found, the image may be considered invalid.

段階６３０において、複数の画像の各画像における１または複数の基準マーカと、較正対象上の１または複数の基準マーカとの間の空間的関係が決定される。前に説明されたように、複数の基準マーカは一意に識別可能であるように構成されているので、画像データにおける複数の基準マーカの位置が、実際の較正対象上の複数の基準マーカの複数の知られている位置とどのように異なっているかを比較することにより空間的関係（例えば、並進、回転、反転）が決定され得る。そのような複数の差は、画像のキャプチャの間の較正対象に対するイメージングデバイスの位置および／または向きに基づき生じ得る。例えば、１または複数の基準マーカが画像データにおける不規則な多角形の複数の頂点を形成する複数の実施形態において、空間的関係は、画像データにおける不規則な多角形の複数の頂点がどのように実際の対象の複数の頂点の複数の知られている位置に対応するかを識別することにより決定され得る。チェッカー盤較正対象が用いられ、複数の基準マーカがチェッカー盤の複数の特定の正方形に位置付けられる複数の実施形態において、空間的関係は、画像における複数の基準マーカのそれぞれに関して位置情報（例えば、行および列位置）を識別し、この情報を、実際のチェッカー盤上の知られている位置情報（例えば、行および列位置）と比較することにより決定され得る。 In step 630, a spatial relationship between one or more reference markers in each image of the plurality of images and one or more reference markers on the calibration object is determined. As described above, since the plurality of reference markers are configured to be uniquely identifiable, the positions of the plurality of reference markers in the image data are determined based on the plurality of reference markers on the actual calibration target. The spatial relationship (eg, translation, rotation, flipping) can be determined by comparing how it differs from the known positions of Such multiple differences may occur based on the position and / or orientation of the imaging device relative to the calibration object during image capture. For example, in embodiments where one or more reference markers form vertices of an irregular polygon in the image data, the spatial relationship is how the vertices of the irregular polygon in the image data are Can be determined by identifying corresponding to a plurality of known positions of a plurality of vertices of the actual object. In embodiments where a checkerboard calibration object is used and multiple reference markers are located in multiple specific squares of the checkerboard, the spatial relationship is positional information (e.g., a row) for each of the multiple reference markers in the image. And column position) and this information can be determined by comparing it with known position information (eg, row and column positions) on the actual checkerboard.

段階６４０において、画像データにおける複数の特徴の複数の画像座標と、較正対象上の対応する複数の特徴に関する複数のグローバル座標（グローバル座標）との間の対応が、段階６３０において決定された空間的関係に基づき定式化される。例えば、実際の較正対象上の各特徴点の複数の位置は、決定された空間的関係を用いて決定され得る。各特徴はその後、グローバル座標系に対する特徴点の位置を示すグローバル座標セットが割り当てられる。したがって、複数の画像座標および各特徴の複数のグローバル座標は知られているので、画像と複数のグローバル座標との間の対応またはマッピングが定式化され得る。 In step 640, the correspondence between the plurality of image coordinates of the plurality of features in the image data and the plurality of global coordinates (global coordinates) for the corresponding plurality of features on the calibration object is determined in step 630. Formulated based on relationships. For example, the plurality of positions of each feature point on the actual calibration object can be determined using the determined spatial relationship. Each feature is then assigned a global coordinate set that indicates the position of the feature point relative to the global coordinate system. Thus, since the plurality of image coordinates and the plurality of global coordinates of each feature are known, a correspondence or mapping between the image and the plurality of global coordinates can be formulated.

複数のイメージングデバイスが較正されており、各イメージングデバイスがそれぞれの画像セットを提供している複数の実施形態において、段階６４０は、複数のそれぞれの画像セットのそれぞれに存在する複数の特徴を識別し、その後、これらの特徴のみに関する複数のグローバル座標を決定することを伴い得る。例えば、チェッカー盤の複数の角点を用いた双眼較正に関して、段階６４０は、左および右カメラ両方の画像において見える複数の角点を識別し、これらの共通の角点に関する複数のグローバル座標を決定することを伴い得る。左および右画像両方は上記にて説明されるように較正対象の複数の基準マーカの全てを描写するので、左および右画像は両方共、複数の基準マーカ近くの複数の特徴を少なくとも含むべきである。代替的な複数の実施形態において、この処理が逆にされ得、どの特徴が異なる複数の画像セットに亘って共通であるのかを決定する前に、複数のイメージングデバイスにより生成された複数の画像において見える全ての特徴に関して複数のグローバル座標を決定し得る。 In embodiments where a plurality of imaging devices are calibrated and each imaging device provides a respective set of images, stage 640 identifies a plurality of features present in each of the plurality of respective image sets. And then may involve determining a plurality of global coordinates for only these features. For example, for binocular calibration using multiple checkerboard corner points, step 640 identifies multiple corner points visible in both the left and right camera images and determines multiple global coordinates for these common corner points. Can be accompanied by. Since both the left and right images depict all of the plurality of reference markers to be calibrated as described above, both the left and right images should include at least features near the plurality of reference markers. is there. In alternative embodiments, this process may be reversed and in multiple images generated by multiple imaging devices before determining which features are common across different sets of images. Multiple global coordinates can be determined for all visible features.

段階６５０において、１または複数のイメージングデバイスに関する複数の較正パラメータが、段階６４０において定式化された対応に基づき決定される。本明細書において前に説明されるように、複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれに関する、カメラ内部行列に関連する複数のパラメータ（例えば、焦点距離、主点の位置、画素サイズ）、カメラと複数のグローバル座標系との間の複数の回転行列および並進ベクトル、および／または光学的歪み（例えば、半径方向の歪み、偏心的な歪み、薄いプリズムの歪み）を含み得る。複数の特徴に関する画像−グローバル座標の複数の対応が一旦決定されると、段階６４０に関して上記にて説明されるように、この対応情報は様々な較正パラメータを解くために用いられ得る。 In step 650, a plurality of calibration parameters for the one or more imaging devices are determined based on the correspondence formulated in step 640. As previously described herein, the plurality of calibration parameters are a plurality of parameters related to the camera internal matrix (eg, focal length, principal point location, pixel size) for each of the one or more imaging devices. ), Multiple rotation matrices and translation vectors between the camera and multiple global coordinate systems, and / or optical distortion (eg, radial distortion, eccentric distortion, thin prism distortion). Once multiple image-global coordinate correspondences for multiple features are determined, this correspondence information can be used to solve various calibration parameters, as described above with respect to step 640.

複数の較正パラメータを解くために様々な方法が用いられ得る。いくつかの実施形態において、複数の較正パラメータの初期推定値が最初に得られる。例えば、歪みの影響を無視して、単眼カメラの較正のために、グローバル座標系と画像座標系との間の以下のマッピング数式を得るのに、マッピングモデル（例えば、マッピングモデル２００または２５０）が用いられ得る。
ここで、Ｒ＝［ｒ_１ｒ_２ｒ_３］（３×３行列）、Ｔは３×１ベクトル、およびλ＝Ｚ_ｃ（グローバル座標系からカメラ座標系へ変換された後の点のＺ軸成分）である。 Various methods can be used to solve multiple calibration parameters. In some embodiments, initial estimates of a plurality of calibration parameters are first obtained. For example, ignoring the effects of distortion, the mapping model (eg, mapping model 200 or 250) may be used to obtain the following mapping formula between the global coordinate system and the image coordinate system for monocular camera calibration: Can be used.
Here, R = [r ₁ r ₂ r ₃ ] (3 × 3 matrix), T is a 3 × 1 vector, and λ = Z _c (Z axis of the point after being converted from the global coordinate system to the camera coordinate system) Component).

較正対象が平面的、例えば、平面のチェッカー盤である複数の実施形態において、対象平面は、対象上の各特徴のＺ_ｗ座標が０であるように、グローバル座標系のＸ_ｗＹ_ｗ平面上に存在すると仮定され得る。したがって、上記の数式は、
のように書き換えられ得る。ホモグラフィー行列Ｈはその後、
として定義され得る。ここで、ｓ＝１／λである。ホモグラフィー行列数式におけるλは、単一の点ではなくむしろ平均値に対応し得る。 In embodiments where the calibration object is planar, eg, a planar checkerboard, the object plane is on the X _w Y _w plane of the global coordinate system such that the Z _w coordinate of each feature on the object is zero. Can be assumed to exist. Therefore, the above formula is
Can be rewritten as The homography matrix H is then
Can be defined as Here, s = 1 / λ. Λ in the homography matrix equation may correspond to an average value rather than a single point.

複数の特徴の複数のグローバル座標は、例えば、段階６４０で決定され、知られているので、ホモグラフィー行列Ｈが解かれ得る。ホモグラフィー行列の定義に基づき、以下の数式が得られ得る。
ｒ_１およびｒ_２は回転行列におけるベクトルであるので、以下の数式が得られ得る。
Since the global coordinates of the features are determined and known, for example, at step 640, the homography matrix H can be solved. Based on the definition of the homography matrix, the following formula can be obtained:
Since r ₁ and r ₂ are vectors in the rotation matrix, the following equation can be obtained:

と定義すると、以下のものが得られ得る。
数式（８）に従うと、以下のものが得られ得る。
数式（１０）において、Ｖは２×６行列であり、ホモグラフィー行列Ｈから変換されている。ｂを解くために、行列Ｂを制約するのに少なくとも３つの異なるＨが用いられる。したがって、異なる複数の位置および／または向きにおける、較正対象の少なくとも３つの異なる画像からのデータを用いてパラメータ推定が実行され得る。 The following can be obtained:
According to equation (8), the following can be obtained:
In Equation (10), V is a 2 × 6 matrix and is converted from the homography matrix H. To solve for b, at least three different Hs are used to constrain matrix B. Accordingly, parameter estimation can be performed using data from at least three different images of the calibration object at different positions and / or orientations.

行列Ｂが解かれ得る場合、行列Ｍも解かれ得る。その後に続いて、ＲおよびＴが数式（７）に従って解かれ得る。行列Ｍの異なる複数の形態に基づき、閉じた解は以下のようになり得る。 If matrix B can be solved, matrix M can also be solved. Subsequently, R and T can be solved according to equation (7). Based on different forms of the matrix M, the closed solution can be:

「接線効果」を考慮しない場合、および
である場合、
である。 Without considering tangent effect, and
If it is,
It is.

「接線効果」が考慮されない場合、および
である場合、
である。 If "tangential effect" is not considered, and
If it is,
It is.

最初の解が得られた後、複数の較正パラメータは、例えば、レーベンバーグ・マーカートアルゴリズムにより、最適化され得る。いくつかの実施形態において、最適な解は、以下の目的関数を最小化する。
After the initial solution is obtained, the plurality of calibration parameters can be optimized, for example, by a Levenberg-Markert algorithm. In some embodiments, the optimal solution minimizes the following objective function:

複数のイメージングデバイス（例えば、２またはそれより多くのカメラ）が較正されている複数の実施形態において、段階６５０は、複数のカメラ座標系のそれぞれの間の回転行列Ｒおよび並進ベクトルＴに関して解くことも含み得る。これらの外部パラメータは、本明細書に説明されている複数の単眼較正方法に基づいて得られ得る。例えば、左および右カメラにより観察される空間的な点に関する双眼較正（２つのイメージングデバイスの較正）において、左カメラ座標系における座標Ｐ_ｌと右カメラ座標系における座標Ｐ_ｒは以下の関係を満たし得る。
ここで、Ｒは右カメラ座標系から左カメラ座標系への回転行列であり、Ｔは、左カメラ座標系の原点Ｏ_ｌから右カメラ座標系の原点Ｏ_ｒへの並進ベクトルである。 In embodiments where multiple imaging devices (eg, two or more cameras) are calibrated, stage 650 solves for the rotation matrix R and translation vector T between each of the multiple camera coordinate systems. May also be included. These external parameters can be obtained based on the multiple monocular calibration methods described herein. For example, in the binocular calibration regarding the spatial points to be observed by the left and right cameras (calibration of the two imaging devices), the coordinates P _r in the coordinate P _l and the right camera coordinate system in the left camera coordinate system satisfies the following relationship obtain.
Here, R is a rotation matrix from the right camera coordinate system to the left camera coordinate system, T is a translation vector from the origin O _l of the left camera coordinate system to the origin O _r of the right camera coordinate system.

図１４は、複数の実施形態に係る、双眼カメラの較正における複数の座標系間の複数の空間的関係のモデル８００を示す。グローバル座標系（原点をＯ_ｗとしたＸ_ｗＹ_ｗＺ_ｗ）が、回転行列Ｒ_ｌと並進ベクトルＴ_ｌとにより左カメラ座標系（Ｏ_ｌを原点としたＸ_ｌＹ_ｌＺ_ｌ）に関連付けられ、回転行列Ｒ_ｒと並進ベクトルＴ_ｒとにより右カメラ座標系（Ｏ_ｒを原点としたＸ_ｒｒＺ_ｒ）に関連付けられる。これら回転行列および並進ベクトルは、本明細書において前に説明されている複数の方法を用いて得られ得る。左および右カメラ座標系間を変換するための回転行列Ｒおよび並進ベクトルＴはその後、以下の関係により決定され得る。
FIG. 14 shows a model 800 of multiple spatial relationships between multiple coordinate systems in binocular camera calibration, according to embodiments. The global coordinate system (X _w Y _w Z _w with O _{w as the} origin) is related to the left camera coordinate system (X _l Y _l Z _l with O _l as the origin) by the rotation matrix R _l and the translation vector T _l. is associated to the right camera coordinate system _{(O r} was the origin _X r rZ _r) by a rotation matrix _{R r} and translation vector _{T r.} These rotation matrices and translation vectors can be obtained using a number of methods previously described herein. The rotation matrix R and translation vector T for converting between the left and right camera coordinate systems can then be determined by the following relationship:

本明細書に説明されている複数の方法に従って複数の較正パラメータが一旦決定されると、それらパラメータは、画像データが様々な下流での用途、例えば、複数の地図の生成のための３Ｄ空間情報の復元、物体認識、ナビゲーション等に適するよう複数のイメージングデバイスにより得られた画像データを処理するのに用いられ得る。例えば、本明細書で「歪み補正」とも呼ばれる、１または複数のイメージングデバイスと関連付けられた光学的歪みの複数の影響を補正するために画像データは、決定された複数の較正パラメータに基づき処理され得る。他の例として、複数のそれぞれの画像データセットをキャプチャするのに２またはそれより多くのイメージングデバイスが用いられる複数の実施形態において、修正を実行するのに、例えば、画像データセットが立体視のために用いられるのを可能とするように複数の較正パラメータが用いられ得る。 Once a plurality of calibration parameters are determined according to a plurality of methods described herein, the parameters may be used to generate 3D spatial information for various downstream applications, such as generating multiple maps. Can be used to process image data obtained by multiple imaging devices to be suitable for image restoration, object recognition, navigation, and the like. For example, image data is processed based on a plurality of determined calibration parameters to correct for multiple effects of optical distortion associated with one or more imaging devices, also referred to herein as “distortion correction”. obtain. As another example, in embodiments where two or more imaging devices are used to capture a plurality of respective image data sets, for example, the image data set may be stereoscopic. Multiple calibration parameters can be used to allow them to be used.

図１５は、複数の実施形態に係る、複数の歪み画像座標と複数の歪み補正画像座標との間のマッピングのモデル９００を示す。歪みは、レンズの複数の光学的特質に起因して、イメージングデバイスによってキャプチャされた複数の画像に生じ得る。画像歪み補正は、理想的なピンホールカメラモデルに従った歪み補正画像（例えば、複数の歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）に対応する複数の歪み補正画像または画素座標（ｕ_２，ｖ_２）を有する画像）を得るよう、イメージングデバイスによりキャプチャされた画像（例えば、複数の歪み画像平面座標（Ｘ_ｄ，Ｙ_ｄ）に対応する複数の歪み画像または画素座標（ｕ_１，ｖ_１）を有する画像）における歪みの複数の影響を取り除くのに用いられ得る。したがって、歪み画像を歪み補正画像に変換するのに画像歪み補正が用いられ得る。画像歪み補正手順は、複数のイメージングデバイスに関する、前に決定された複数の内部パラメータ（例えば、歪みパラメータ、カメラ内部行列Ｍ）に基づき実行され得る。そのような複数のパラメータは、本明細書に提示されている複数のアプローチを用いて決定され得る。 FIG. 15 illustrates a model 900 for mapping between a plurality of distortion image coordinates and a plurality of distortion correction image coordinates, according to embodiments. Distortion can occur in multiple images captured by the imaging device due to multiple optical characteristics of the lens. The image distortion correction is performed using a plurality of distortion correction images or pixel coordinates (u ₂ , corresponding to a plurality of distortion correction image plane coordinates (X _p , Y _p ) according to an ideal pinhole camera model. v ₂₎ so as to obtain an image) having the captured image by the imaging device (e.g., a plurality of distorted image plane coordinates (X _d, a plurality of strain images or pixel coordinates corresponding to _{_{_{Y d) (u 1, v}}} 1 Can be used to remove multiple effects of distortion in the image. Accordingly, image distortion correction can be used to convert a distortion image into a distortion correction image. The image distortion correction procedure may be performed based on a plurality of previously determined internal parameters (eg, distortion parameters, camera internal matrix M) for a plurality of imaging devices. Such multiple parameters may be determined using multiple approaches presented herein.

画像歪み補正を実行するのに様々な方法が用いられ得る。例えば、複数の歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）が、以下の数式に従って歪み補正された複数の画素座標（ｕ_２，ｖ_２）から決定され得る。
複数の歪み画像平面座標（Ｘ_ｄ，Ｙ_ｄ）は、数学的な歪みモデル（例えば、本明細書において前に提示されている歪み数式（３）によって説明されているモデル）と、複数の歪みパラメータに関する、前に決定された複数の値とに基づき歪み補正画像平面座標（Ｘ_ｐ，Ｙ_ｐ）から決定され得る。歪み画像（ｕ_１，ｖ_１）の複数の画素座標はその後、以下の数式によって得られ得る。
複数の歪み補正画素座標（ｕ_２，ｖ_２）のグレースケール値が、複数の歪み画素座標（ｕ_１，ｖ_１）に対し補間を行うことにより得られ得る。補間は、最近隣補間法または共一次補間法などの任意の適した方法を用いて実行され得る。したがって、歪み補正画像が得られ得る。 Various methods can be used to perform image distortion correction. For example, a plurality of distortion-corrected image plane coordinates (X _p , Y _p ) can be determined from a plurality of pixel coordinates (u ₂ , v ₂ ) that have been distortion-corrected according to the following equation.
The plurality of distortion image plane coordinates (X _d , Y _d ) can be represented by a mathematical distortion model (eg, the model described by the distortion equation (3) presented earlier herein) and a plurality of distortions. Based on a plurality of previously determined values for the parameter, it can be determined from the distortion corrected image plane coordinates (X _p , Y _p ). The plurality of pixel coordinates of the distorted image (u ₁ , v ₁ ) can then be obtained by the following formula:
The gray scale values of the plurality of distortion corrected pixel coordinates (u ₂ , v ₂ ) can be obtained by performing interpolation on the plurality of distortion pixel coordinates (u ₁ , v ₁ ). Interpolation may be performed using any suitable method such as nearest neighbor interpolation or bilinear interpolation. Therefore, a distortion corrected image can be obtained.

本明細書に説明されている画像歪み補正処理と同様に、立体修正としても知られる画像修正は、画像から画像への変換処理を伴い得る。しかし、画像修正は、カメラ座標系レベルでの空間的な変換も伴う。画像修正は、例えば、深度マップ、視差マップ、およびシーンの他の３Ｄ表現の生成のために、立体視アルゴリズムの実装を容易するために、複数のイメージングデバイスによりキャプチャされた画像データを処理するのに用いられ得る。例えば、いくつかの実施形態において、複数の立体視アルゴリズムは、異なる複数のカメラ（例えば、左カメラおよび右カメラ）によりキャプチャされた複数の画像間の複数の点対応を決定することを伴い得る。画像修正は、各カメラにより得られた画像データを共通の平面へ投射し、それにより、複数の画像における一致する複数の画像点の検索の手順を単純化するのに用いられ得る。 Similar to the image distortion correction processing described herein, image correction, also known as stereo correction, can involve image-to-image conversion processing. However, image correction also involves spatial transformation at the camera coordinate system level. Image modification processes image data captured by multiple imaging devices to facilitate implementation of a stereoscopic algorithm, for example, for generation of depth maps, parallax maps, and other 3D representations of a scene. Can be used. For example, in some embodiments, multiple stereoscopic algorithms may involve determining multiple point correspondences between multiple images captured by different multiple cameras (eg, left camera and right camera). Image correction can be used to project the image data obtained by each camera onto a common plane, thereby simplifying the procedure of searching for multiple matching image points in multiple images.

図１６および１７は、複数の実施形態に係る、双眼カメラシステムのための画像修正手順を示す。図１６は、立体視のための左カメラ座標系（カメラ１）と右カメラ座標系（カメラ２）との間のマッピングのモデル１０００を示す。画像修正処理は、左および右画像データを修正するのに用いられる回転行列Ｒ_１、Ｒ_ｒ、およびＲ_ｒｅｃｔを決定することを伴い得る。いくつかの実施形態において、これらの行列は、修正の後に左および右画像の複数の重複する部分を最大化し、画像の変形量を最小化するよう構成される。さらに、両方の修正画像において同じ行列Ｍが用いられる場合、修正された複数の画像は、同じ縮尺であり得、それにより被写界深度の計算が容易になる。 16 and 17 illustrate image correction procedures for a binocular camera system, according to embodiments. FIG. 16 shows a model 1000 of mapping between the left camera coordinate system (camera 1) and the right camera coordinate system (camera 2) for stereoscopic viewing. The image modification process may _involve determining rotation matrices R ₁ , R _r , and R _rect that are used to modify the left and right image data. In some embodiments, these matrices are configured to maximize multiple overlapping portions of the left and right images after correction and minimize the amount of image deformation. Furthermore, if the same matrix M is used in both modified images, the modified images can be at the same scale, thereby facilitating depth of field calculations.

図１７は、修正されていないカメラ座標系と修正されたカメラ座標系との間のマッピングのモデル１０５０を示す。いくつかの実施形態において、回転行列Ｒ_ｌおよびＲ_ｒは数式
を満たし得る。ここで、Ｒは右カメラ座標系（Ｘ_ｒ，Ｙ_ｒ，Ｚ_ｒ）から左カメラ座標系（Ｘ_ｌ，Ｙ_ｌ，Ｚ_ｌ）への回転行列である。Ｒ_ｌおよびＲ_ｒはそれぞれ、左カメラ座標系から第１の一時的な座標系
への、および右カメラ座標系から第２の一時的な座標系
への複数の回転行列である。いくつかの実施形態において、
は、回転行列Ｒの回転角度が等しく分割されるように、Ｒ_ｒに等しくなるよう設定され得る。２つのカメラ座標系の空間的な姿勢が変換後に同一であるよう左および右カメラ座標系はそれぞれ、Ｒ_ｌおよびＲ_ｒに従って変換され得る。しかし、Ｒ_ｌに従って左カメラ座標系を変換することにより得られた座標系には並進ベクトルＴ_ｔｅｍｐ＝Ｒ_ｌＴがあり得る。 FIG. 17 shows a model 1050 for mapping between an unmodified camera coordinate system and a modified camera coordinate system. In some embodiments, the rotation matrices R _l and R _r are
Can meet. Here, R is a rotation matrix from the right camera coordinate system (X _r , Y _r , Z _r ) to the left camera coordinate system (X _l , Y _l , Z _l ). R _l and R _r are respectively the first temporary coordinate system from the left camera coordinate system.
To and from the right camera coordinate system to a second temporary coordinate system
Is a multiple rotation matrix. In some embodiments,
May be set equal to R _r such that the rotation angles of the rotation matrix R are equally divided. The left and right camera coordinate systems can be transformed according to R ₁ and R _r , respectively, so that the spatial poses of the two camera coordinate systems are the same after transformation. However, there may be a translation vector T _temp = R ₁ T in the coordinate system obtained by transforming the left camera coordinate system according to R ₁ .

２つの座標系はその後、２つの座標系のＸＯＹ平面が同一面であり、両方のＸ軸が基準線と平行であるように、回転行列Ｒ_ｒｅｃｔにより同時に変換され得る。行列Ｒ_ｒｅｃｔは、主観的に決定され得る。例えば、Ｒ_ｒｅｃｔは
と表され得る。ここで、
であり、
であり、ｅ_３＝ｅ_１×ｅ_２であり、Ｔ_ｔｅｍｐ＝Ｒ_ｌＴ（３×１行列）であり、Ｔ_{ｔｅｍｐ＿ｘ}は、Ｔ_ｔｅｍｐの第１行の第１列として定義され、Ｔ_{ｔｅｍｐ＿ｙ}は、Ｔ_ｔｅｍｐの第２行の第１列として定義される。 The two coordinate systems can then be transformed simultaneously by the rotation matrix R _rect so that the XOY planes of the two coordinate systems are coplanar and both X axes are parallel to the reference line. The matrix R _rect can be determined subjectively. For example, R _rect is
It can be expressed as here,
And
, And _the a _{_{e 3 = e 1 × e 2}} , a _{T temp = R l T (3} × 1 _{matrix), T} temp_x _is defined as the first row and first column of the _{_{T temp,} T temp_y} is , T _temp is defined as the first column of the second row.

いくつかの実施形態において、複数のカメラ座標系の回転の後、Ｘ軸と平行であり２つの座標系間にある並進ベクトルＴ_ｒｅｃｔ＝Ｒ_ｒｅｃｔＲ_ｌＴのみがある。オプションで、行列Ｍは、行列Ｍ_１と置き換えられ得る（図１６を参照）。 In some embodiments, after rotation of multiple camera coordinate systems, there is only a translation vector T _rect = R _rect R _l T that is parallel to the X axis and between the two coordinate systems. Optionally, matrix M can be replaced with matrix M ₁ (see FIG. 16).

回転行列Ｒ_ｌ、Ｒ_ｒ、およびＲ_ｒｅｃｔ並びにマッピング行列Ｍが決定された後に、上記にて説明されている単一の画像歪み補正手順と同様に画像修正手順が実行され得る。画像修正は、それぞれの個々のイメージングデバイスにより得られた各画像セットに対して別々に実行され得る。例えば、図１６を再び参照すると、点（ｕ_３，ｖ_３）に関し、元の左カメラ座標系における座標（Ｘ_ｐｌ，Ｙ_ｐｌ，Ｚ_ｐｌ）を得るよう逆マッピングが実行され得る。
これは、以下の関係を得るようスケーリングされ得る。
After the rotation matrices R _l , R _r , and R _rect and the mapping matrix M are determined, an image correction procedure can be performed similar to the single image distortion correction procedure described above. Image correction can be performed separately for each set of images obtained by each individual imaging device. For example, referring again to FIG. 16, for point (u ₃ , v ₃ ), an inverse mapping can be performed to obtain the coordinates (X _pl , Y _pl , Z _pl ) in the original left camera coordinate system.
This can be scaled to obtain the following relationship:

複数の歪み座標は、前に決定された複数の歪みパラメータと歪みモデル（例えば、数式（３））とに従って得られ得る。元の左側の座標系における複数の画素座標（ｕ_１，ｖ_１）がその後、得られ得る。
The plurality of strain coordinates may be obtained according to a plurality of strain parameters and a strain model (eg, Equation (3)) determined previously. A plurality of pixel coordinates (u ₁ , v ₁ ) in the original left coordinate system can then be obtained.

修正された複数の画像座標（ｕ_３，ｖ_３）のグレースケール値は、任意の適した補間アルゴリズムを用いて決定され得る。この修正処理は、右カメラに関する修正された複数の画像座標を得るのにも用いられ得る。 The grayscale values of the modified plurality of image coordinates (u ₃ , v ₃ ) can be determined using any suitable interpolation algorithm. This modification process can also be used to obtain a plurality of modified image coordinates for the right camera.

図１８は、複数の実施形態に係る、画像修正を実行する処理の後の複数の双眼カメラ画像を示す。複数の画像は、左カメラにより得られた第１の修正画像１１００と、右カメラにより得られた第２の修正画像１１０２とを含む。特に、第１の画像１１００における複数の物体は、重ねられた複数の水平方向の線１１０４により示されるように第２の画像１１０２における対応する複数の物体と水平方向に位置合わせされる。 FIG. 18 shows a plurality of binocular camera images after a process of performing image correction, according to embodiments. The plurality of images include a first modified image 1100 obtained by the left camera and a second modified image 1102 obtained by the right camera. In particular, the objects in the first image 1100 are horizontally aligned with the corresponding objects in the second image 1102 as indicated by the superimposed horizontal lines 1104.

１または複数の画像から得られた画像データが本明細書に説明されるような歪み補正および／または修正により一旦処理されると、複数の画像が、複数のコンピュータビジョン用途など様々な用途のために用いられ得る。いくつかの実施形態において、複数の画像が、シーンにおける複数の物体の複数のイメージングデバイスからの複数の距離など画像化されたシーンに関して空間情報を復元するのに用いられ得る。この空間情報は、例えば、深度マップ、視差マップ、占有格子、ポイントクラウド、およびその他など、環境の複数の３Ｄ表現を生成するのに用いられ得る。 Once the image data obtained from one or more images has been processed with distortion correction and / or correction as described herein, the multiple images may be used for a variety of applications, such as multiple computer vision applications. Can be used. In some embodiments, multiple images may be used to recover spatial information regarding the imaged scene, such as multiple distances from multiple imaging devices of multiple objects in the scene. This spatial information can be used to generate multiple 3D representations of the environment, such as depth maps, parallax maps, occupancy grids, point clouds, and others.

図１９は、複数の実施形態に係る、画像データから複数の深度マップを生成するための方法１２００を示す。方法１２００の複数の段階の少なくともいくつかは、１または複数のプロセッサによってなど、適したコンピューティングシステムまたはデバイスにより実施され得る。 FIG. 19 illustrates a method 1200 for generating multiple depth maps from image data, according to multiple embodiments. At least some of the stages of method 1200 may be performed by a suitable computing system or device, such as by one or more processors.

段階１２１０において、１または複数の画像が、１または複数のイメージングデバイスのそれぞれから得られる。それらイメージングデバイスは、シーンの対応する複数の画像を生成するよう、同時に、または実質的に同時に複数の画像をキャプチャするよう構成され得る。それらイメージングデバイスは、異なる複数の位置および／または向きからの同じシーンの複数の画像を生成するよう互いに対して位置決めされ得る。例えば、双眼視システムを搭載したＵＡＶは、ＵＡＶを取り囲む環境の複数の画像を同時にではあるが、２つの異なる位置および／または向きからキャプチャする左カメラおよび右カメラを有し得る。したがって、シーンにおける複数の物体は、異なる複数のイメージングデバイスにより得られた複数の画像において異なる複数の画像座標を有するであろう。 In step 1210, one or more images are obtained from each of the one or more imaging devices. The imaging devices may be configured to capture multiple images at the same time, or substantially simultaneously, to generate corresponding multiple images of the scene. The imaging devices can be positioned with respect to each other to produce multiple images of the same scene from different multiple locations and / or orientations. For example, a UAV equipped with a binocular vision system may have a left camera and a right camera that capture multiple images of the environment surrounding the UAV simultaneously, but from two different positions and / or orientations. Thus, multiple objects in a scene will have multiple image coordinates that are different in multiple images obtained by different multiple imaging devices.

段階１２２０において、１または複数のイメージングデバイスのそれぞれからの１または複数の画像は、３Ｄ深度マップを生成するよう１または複数のイメージングデバイスに関する複数の較正パラメータに基づき処理される。複数の較正パラメータは、本明細書において前に説明されたように、複数のイメージングデバイスに関する複数の内部および／または外部パラメータを含み得、方法６００など本明細書に説明されている複数の較正方法のうち何れかを用いて、前に決定され得る。較正方法は、オンライン較正方法またはオフライン較正方法であり得る。いくつかの実施形態において、複数の較正パラメータは、１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定される。較正対象は、本明細書に提示されている複数の実施形態のうち何れか、例えば、チェッカー盤較正対象であり得る。例えば、較正対象は、繰り返しパターンで配置された複数の特徴、および１または複数の基準マーカを含み得る。１または複数の基準マーカは、複数のイメージングデバイスにより得られた各較正画像内で一意に識別可能であるように、例えば、図６、７および８の複数の実施形態に関して上記にて説明されるようにそれぞれが設計され得る。いくつかの実施形態において、複数の較正画像の少なくとも１つは、較正対象の複数の特徴全てのうちの一部しかキャプチャしていない。前に説明さているたように、本明細書に説明されている複数の方法は、本明細書に説明されるように複数の画像のいくつかまたは全てが較正対象特徴の全ての特徴をキャプチャしていないときでも、複数の較正画像から複数の較正パラメータを決定するのに用いられ得る。 In step 1220, one or more images from each of the one or more imaging devices are processed based on a plurality of calibration parameters for the one or more imaging devices to generate a 3D depth map. The plurality of calibration parameters may include a plurality of internal and / or external parameters for a plurality of imaging devices, as previously described herein, and a plurality of calibration methods described herein, such as method 600. Can be determined in advance. The calibration method can be an online calibration method or an offline calibration method. In some embodiments, the plurality of calibration parameters is determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices. The calibration object can be any of the embodiments presented herein, for example, a checkerboard calibration object. For example, the calibration object may include a plurality of features arranged in a repeating pattern and one or more reference markers. One or more fiducial markers are described above, for example, with respect to the embodiments of FIGS. 6, 7 and 8, such that they can be uniquely identified within each calibration image obtained by a plurality of imaging devices. Each can be designed as such. In some embodiments, at least one of the plurality of calibration images captures only a portion of all of the plurality of features to be calibrated. As previously described, the methods described herein are such that some or all of the images capture all features of the feature to be calibrated as described herein. Even when not, it can be used to determine a plurality of calibration parameters from a plurality of calibration images.

複数の画像から３Ｄ深度マップを生成出来るよう、それら画像を処理する様々な方法が用いられ得る。例えば、複数の画像は、本明細書に説明されている画像歪み補正および／または修正技術により処理され得る。修正された複数の画像はその後、複数の画像における複数の物体に関する深さ情報を復元し、したがって画像化されたシーンの深度マップを生成するよう様々な立体視アルゴリズムへの入力として用いられ得る。例えば、異なる複数のイメージングデバイスにより得られた複数の画像（例えば、同時に、または実質的に同時にキャプチャされた複数の画像）は、それら画像間の複数の視差を決定するために互いに比較され得る。視差情報と複数のイメージングデバイス間の空間的関係に関する情報に基づき、物体と複数のイメージングデバイスとの間の距離が決定され得る。例えば、異なる複数のイメージングデバイスからの複数の画像における同じ物体の複数の画像座標間の視差が計算され得る。複数のイメージングデバイスから物体への距離は、視差、複数のイメージングデバイスの焦点距離、および複数のイメージングデバイス間の空間的関係（例えば、複数のイメージングデバイスの間の距離）の観点で表され得る。したがって、焦点距離および空間的関係情報が一旦（例えば、本明細書に説明されている複数の較正方法を介して）決定されると、距離が計算され得る。 Various methods of processing the images can be used so that a 3D depth map can be generated from multiple images. For example, the plurality of images may be processed by the image distortion correction and / or correction techniques described herein. The modified images can then be used as input to various stereoscopic algorithms to restore depth information about the objects in the images and thus generate a depth map of the imaged scene. For example, multiple images obtained by different imaging devices (eg, multiple images captured simultaneously or substantially simultaneously) can be compared to one another to determine multiple parallaxes between the images. Based on the disparity information and information regarding the spatial relationship between the plurality of imaging devices, a distance between the object and the plurality of imaging devices may be determined. For example, the parallax between multiple image coordinates of the same object in multiple images from different imaging devices can be calculated. The distance from the plurality of imaging devices to the object may be expressed in terms of parallax, focal lengths of the plurality of imaging devices, and spatial relationships between the plurality of imaging devices (eg, distances between the plurality of imaging devices). Thus, once the focal length and spatial relationship information are determined (eg, via a plurality of calibration methods described herein), the distance can be calculated.

画像化されたシーン内の全ての点に関して３Ｄ深度マップを生成するようにこの処理が繰り返され得る。そのような複数の深度マップは、多種多様な用途に用いられ得る。例えば、複数のイメージングデバイスがＵＡＶによって搭載される複数の実施形態において、複数のイメージングデバイスからの画像データに基づいて生成される深度マップは、様々な物体のＵＡＶからの複数の距離を示す情報を提供するのに用いられ得る。この情報は、障害物回避、ナビゲーション、対象トラッキング、および同様のものなど様々なＵＡＶの機能を助長するようにするのに用いられ得る。 This process can be repeated to generate a 3D depth map for all points in the imaged scene. Such multiple depth maps can be used for a wide variety of applications. For example, in embodiments where multiple imaging devices are mounted by a UAV, a depth map generated based on image data from multiple imaging devices provides information indicating multiple distances from various objects to the UAV. Can be used to provide. This information can be used to facilitate various UAV functions such as obstacle avoidance, navigation, object tracking, and the like.

本明細書に説明されている複数のシステム、デバイス、および方法は、多種多様な可動物体に適用され得る。前に言及したように、本明細書における航空機についてのいずれの説明も、任意の可動物体に当てはまり得、およびそのために用いられ得る。本願発明の可動物体は、空中（例えば、固定翼航空機、回転翼航空機、または固定翼も回転翼も有さない航空機）、水中（例えば、船または潜水艦）、地上（例えば、車、トラック、バス、バン、バイクなどの自動車、棒、釣竿などの可動構造または枠体、または電車）、地下（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、または宇宙探査機）、またはこれら環境の任意の組み合わせなど任意の適した環境内を動くよう構成され得る。可動物体は、本明細書の他の箇所において説明されている輸送体などの輸送体であり得る。いくつかの実施形態において、可動物体は、人または動物など生体に搭載され得る。適した複数の動物は、鳥類、イヌ科の動物、ネコ科の動物、ウマ科の動物、ウシ属の動物、羊、豚、イルカ、齧歯動物、または昆虫を含み得る。 The multiple systems, devices, and methods described herein can be applied to a wide variety of movable objects. As previously mentioned, any description of an aircraft herein may apply to and be used for any movable object. The movable object of the present invention can be in the air (eg, fixed wing aircraft, rotary wing aircraft, or aircraft having neither fixed wing nor rotary wing), underwater (eg, ship or submarine), ground (eg, car, truck, bus). , Cars such as vans, motorcycles, movable structures or frames such as rods, fishing rods, or trains), underground (eg, subways), outer space (eg, space planes, satellites, or space probes), or these environments It can be configured to move in any suitable environment, such as any combination. The movable object may be a transporter, such as the transporter described elsewhere herein. In some embodiments, the movable object may be mounted on a living body such as a human or animal. Suitable animals may include birds, canines, felines, equines, bovine animals, sheep, pigs, dolphins, rodents, or insects.

可動物体は、環境内で、６自由度（例えば、並進３自由度、および回転３自由度）に関して自由に動くことが可能であり得る。代替的に、可動物体の動きは、所与の経路、軌道、または向きによってなど１または複数の自由度に関して制限を受け得る。動きは、エンジンまたはモータなどの任意の適した作動機構により作動させられ得る。可動物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはこれらの任意の適した組み合わせなど任意の適したエネルギー源により電力供給され得る。可動物体は、本明細書の他の箇所において説明されるように、推進システムを介して自己推進し得る。オプションで、推進システムは、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、核エネルギー、またはこれらの任意の適した組み合わせなどのエネルギー源で作動し得る。代替的に、可動物体は生き物により運ばれ得る。 The movable object may be able to move freely in the environment with respect to 6 degrees of freedom (eg, translational 3 degrees of freedom and rotational 3 degrees of freedom). Alternatively, the movement of the movable object may be limited with respect to one or more degrees of freedom, such as by a given path, trajectory, or orientation. The movement can be actuated by any suitable actuation mechanism such as an engine or a motor. The actuation mechanism of the movable object can be powered by any suitable energy source, such as electrical energy, magnetic energy, solar energy, wind energy, gravity energy, chemical energy, nuclear energy, or any suitable combination thereof. The movable object may self-propell through the propulsion system, as described elsewhere herein. Optionally, the propulsion system may operate with an energy source such as electrical energy, magnetic energy, solar energy, wind energy, gravity energy, chemical energy, nuclear energy, or any suitable combination thereof. Alternatively, movable objects can be carried by creatures.

いくつかの場合において、可動物体は輸送体であり得る。適した複数の輸送体は、水用輸送体、航空機、宇宙用輸送体、または地面用輸送体を含み得る。例えば、複数の航空機は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、ロータクラフト）、固定翼および回転翼の両方を有する航空機、またはいずれも有さない航空機（例えば、小型軟式飛行船、熱気球）であり得る。輸送体は、空中、水上、水中、宇宙空間、地上、または地下を自己推進するなど、自己推進し得る。自己推進型の輸送体は、１または複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、またはこれらの任意の適した組み合わせを含む推進システムなどの推進システムを利用し得る。いくつかの場合において、可動物体が表面から離陸出来る、表面に着陸出来る、それの現在の位置および／または向きを維持出来る（例えば、ホバリングする）、向きを変化させられる、および／または位置を変化させられるよう推進システムが用いられ得る。 In some cases, the movable object may be a transporter. Suitable multiple vehicles may include water vehicles, aircraft, space vehicles, or ground vehicles. For example, a plurality of aircraft may be a fixed wing aircraft (eg, airplane, glider), a rotary wing aircraft (eg, helicopter, rotorcraft), an aircraft having both fixed and rotary wings, or an aircraft that does not have any (eg, Small soft airship, hot air balloon). A transporter may be self-propelled, such as self-propelled in the air, water, underwater, outer space, ground, or underground. A self-propelled vehicle may utilize a propulsion system such as a propulsion system that includes one or more engines, motors, wheels, axles, magnets, rotors, propellers, blades, nozzles, or any suitable combination thereof. . In some cases, a movable object can take off from the surface, land on the surface, maintain its current position and / or orientation (eg, hover), change orientation, and / or change position A propulsion system can be used to make it happen.

可動物体は、ユーザにより遠隔的に制御され得、若しくは、可動物体内、またはその上の乗員により近くで制御され得る。いくつかの実施形態において、可動物体は、ＵＡＶなど無人可動物体であり得る。ＵＡＶなどの無人可動物体は、可動物体に搭乗している乗員を有さなくてもよい。可動物体は、人または自律制御システム（例えば、コンピュータ制御システム）により、若しくはこれらの任意の適した組み合わせにより制御され得る。可動物体は、人工知能を用いて構成されたロボットなど自律的または半自律的ロボットであり得る。 The movable object can be controlled remotely by the user or can be controlled closer to the occupant in or on the movable object. In some embodiments, the movable object may be an unmanned movable object such as a UAV. An unmanned movable object such as a UAV may not have a passenger on the movable object. The movable object may be controlled by a person or an autonomous control system (eg, a computer control system) or by any suitable combination of these. The movable object can be an autonomous or semi-autonomous robot such as a robot configured using artificial intelligence.

可動物体は、任意の適したサイズおよび／または複数の寸法を有し得る。いくつかの実施形態において、可動物体は、輸送体内またはその上に人である乗員を有するためのサイズおよび／または複数の寸法のものであり得る。代替的に、可動物体は、輸送体内またはその上に人である乗員を有することが可能なサイズおよび／または複数の寸法より小さなものであり得る。可動物体は、人により持ち上げられる、または搭載されるのに適したサイズおよび／または複数の寸法のものであり得る。代替的に、可動物体は、人により持ち上げられる、または搭載されるのに適したサイズおよび／または複数の寸法より大きくてもよい。いくつかの場合において、可動物体は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより短い、またはそれらと等しい最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより長くてもよく、またはそれらと等しくてもよい。例えば、可動物体の、対向する複数のロータの複数のシャフト間の距離は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより短くてもよく、またはそれらと等しくてもよい。代替的に、対向する複数のロータの複数のシャフト間の距離は、およそ２ｃｍ、５ｃｍ、１０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍより長くてもよく、またはそれらと等しくてもよい。 The movable object may have any suitable size and / or multiple dimensions. In some embodiments, the movable object may be of a size and / or multiple dimensions for having an occupant who is a person in or on the transport. Alternatively, the movable object may be smaller than the size and / or dimensions capable of having an occupant who is a person in or on the transport. The movable object may be of a size and / or multiple dimensions suitable for being lifted or mounted by a person. Alternatively, the movable object may be larger than a size and / or multiple dimensions suitable for being lifted or mounted by a person. In some cases, the movable object has a maximum dimension (eg, length, width, height, diameter, diagonal, less than or equal to approximately 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m, or 10 m). ). The maximum dimension may be greater than or equal to approximately 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m, or 10 m. For example, the distance between the shafts of the opposing rotors of the movable object may be less than or equal to approximately 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m, or 10 m. . Alternatively, the distance between the shafts of the opposing rotors may be greater than or equal to approximately 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m, or 10 m.

いくつかの実施形態において、可動物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、または５ｃｍ×５ｃｍ×３ｃｍ未満の体積を有し得る。可動物体の総体積は、およそ１ｃｍ^３、２ｃｍ^３、５ｃｍ^３、１０ｃｍ^３、２０ｃｍ^３、３０ｃｍ^３、４０ｃｍ^３、５０ｃｍ^３、６０ｃｍ^３、７０ｃｍ^３、８０ｃｍ^３、９０ｃｍ^３、１００ｃｍ^３、１５０ｃｍ^３、２００ｃｍ^３、３００ｃｍ^３、５００ｃｍ^３、７５０ｃｍ^３、１０００ｃｍ^３、５０００ｃｍ^３、１０，０００ｃｍ^３、１００，０００ｃｍ^３、１ｍ^３、または１０ｍ^３より小さくてもよく、またはそれらと等しくてもよい。逆に、可動物体の総体積は、およそ１ｃｍ^３、２ｃｍ^３、５ｃｍ^３、１０ｃｍ^３、２０ｃｍ^３、３０ｃｍ^３、４０ｃｍ^３、５０ｃｍ^３、６０ｃｍ^３、７０ｃｍ^３、８０ｃｍ^３、９０ｃｍ^３、１００ｃｍ^３、１５０ｃｍ^３、２００ｃｍ^３、３００ｃｍ^３、５００ｃｍ^３、７５０ｃｍ^３、１０００ｃｍ^３、５０００ｃｍ^３、１０，０００ｃｍ^３、１００，０００ｃｍ^３、１ｍ^３、または１０ｍ^３より大きくてもよく、またはそれらと等しくてもよい。 In some embodiments, the movable object may have a volume of less than 100 cm × 100 cm × 100 cm, less than 50 cm × 50 cm × 30 cm, or less than 5 cm × 5 cm × 3 cm. The total volume of the movable object is approximately 1 cm ³ , 2 cm ³ , 5 cm ³ , 10 cm ³ , 20 cm ³ , 30 cm ³ , 40 cm ³ , 50 cm ³ , 60 cm ³ , 70 cm ³ , 80 cm ³ , 90 cm ³ , 100 cm ³ , 150 cm ³ , ^{^{^{200cm 3, 300cm 3, 500cm 3}}} , 750cm 3, 1000cm 3, 5000cm 3, 10,000cm 3, 100,000cm 3, 1m 3 or may be smaller than 10 m ^3,, or may be equal to them. Conversely, the total volume of the movable object is approximately 1 cm ³ , 2 cm ³ , 5 cm ³ , 10 cm ³ , 20 cm ³ , 30 cm ³ , 40 cm ³ , 50 cm ³ , 60 cm ³ , 70 cm ³ , 80 cm ³ , 90 cm ³ , 100 cm ³ , ^{^{^{150cm 3, 200cm 3, 300cm 3}}} , 500cm 3, 750cm 3, 1000cm 3, 5000cm 3, 10,000cm 3, 100,000cm 3, 1m 3 or may be greater than 10 m ^3,, or may be equal to those .

いくつかの実施形態において、可動物体は、およそ３２，０００ｃｍ^２、２０，０００ｃｍ^２、１０，０００ｃｍ^２、１，０００ｃｍ^２、５００ｃｍ^２、１００ｃｍ^２、５０ｃｍ^２、１０ｃｍ^２、または５ｃｍ^２より小さい、またはそれらと等しい設置面積（可動物体により取り囲まれる横方向の断面積を指し得る）を有し得る。逆に、設置面積は、およそ３２，０００ｃｍ^２、２０，０００ｃｍ^２、１０，０００ｃｍ^２、１，０００ｃｍ^２、５００ｃｍ^２、１００ｃｍ^２、５０ｃｍ^２、１０ｃｍ^２、または５ｃｍ^２より大きくてもよく、またはそれらと等しくてもよい。 In some embodiments, the movable object is approximately ^{^{^{32,000cm 2, 20,000cm 2, 10,000cm 2}}} , 1,000cm 2, 500cm 2, 100cm 2, 50cm 2, 10cm 2, or 5 cm ² less than Or they may have an equal footprint (which may refer to the transverse cross-sectional area surrounded by the movable object). Conversely, the footprint is approximately ^{^{^{32,000cm 2, 20,000cm 2, 10,000cm 2}}} , 1,000cm 2, 500cm 2, 100cm 2, 50cm 2, 10cm 2, or may be greater than 5 cm ^2, or They may be equal.

いくつかの場合において、可動物体は１０００ｋｇ以下の重量を有し得る。可動物体の重量は、およそ１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇより軽くてもよく、またはそれらと等しくてもよい。逆に、重量は、およそ１０００ｋｇ、７５０ｋｇ、５００ｋｇ、２００ｋｇ、１５０ｋｇ、１００ｋｇ、８０ｋｇ、７０ｋｇ、６０ｋｇ、５０ｋｇ、４５ｋｇ、４０ｋｇ、３５ｋｇ、３０ｋｇ、２５ｋｇ、２０ｋｇ、１５ｋｇ、１２ｋｇ、１０ｋｇ、９ｋｇ、８ｋｇ、７ｋｇ、６ｋｇ、５ｋｇ、４ｋｇ、３ｋｇ、２ｋｇ、１ｋｇ、０．５ｋｇ、０．１ｋｇ、０．０５ｋｇ、または０．０１ｋｇより重くてもよく、またはそれらと等しくてもよい。 In some cases, the movable object may have a weight of 1000 kg or less. The weight of the movable object is approximately 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg. , 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0.5 kg, 0.1 kg, 0.05 kg, or 0.01 kg, or may be equal. Conversely, the weight is approximately 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg. , 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0.5 kg, 0.1 kg, 0.05 kg, or 0.01 kg may be heavier or equal.

いくつかの実施形態において、可動物体は、可動物体により搭載される積み荷に対して小さくてもよい。積み荷は、以下にさらに詳細に説明されるような積載物および／または支持機構を含み得る。いくつかの例において、荷重に対する可動物体の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。いくつかの場合において、荷重に対する可動物体の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。オプションで、荷重に対する支持機構の重量の比は、およそ１：１より大きい、それより小さい、またはそれと等しくてもよい。所望されるとき、荷重に対する可動物体の重量の比は、１：２、１：３、１：４、１：５、１：１０より小さくてもよく、またはそれらと等しくてもよく、若しくはさらに小さくてもよい。逆に、荷重に対する可動物体の重量の比は、２：１、３：１、４：１、５：１、１０：１より大きくてもよい、またはそれらと等しくてもよく、若しくはさらに大きくてもよい。 In some embodiments, the movable object may be small relative to the load carried by the movable object. The load may include a load and / or support mechanism as described in more detail below. In some examples, the ratio of the weight of the movable object to the load may be greater than, less than, or equal to approximately 1: 1. In some cases, the ratio of the weight of the movable object to the load may be greater than, less than, or equal to approximately 1: 1. Optionally, the ratio of the weight of the support mechanism to the load may be greater than, less than, or equal to approximately 1: 1. When desired, the ratio of the weight of the movable object to the load may be less than or equal to 1: 2, 1: 3, 1: 4, 1: 5, 1:10, or even It may be small. Conversely, the ratio of the weight of the movable object to the load may be greater than or equal to 2: 1, 3: 1, 4: 1, 5: 1, 10: 1, or even greater. Also good.

いくつかの実施形態において、可動物体は、消費するエネルギーが少量であり得る。例えば、可動物体は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量を用い得る。いくつかの場合において、可動物体の支持機構は、消費するエネルギーが少量であり得る。例えば、支持機構は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量を用い得る。オプションで、可動物体の積載物は、およそ５Ｗ／ｈ、４Ｗ／ｈ、３Ｗ／ｈ、２Ｗ／ｈ、１Ｗ／ｈより少量を、若しくはさらに少量など、消費するエネルギーが少量であり得る。 In some embodiments, the movable object may consume a small amount of energy. For example, the movable object may use less than about 5 W / h, 4 W / h, 3 W / h, 2 W / h, 1 W / h, or even less. In some cases, the support mechanism for the movable object may consume a small amount of energy. For example, the support mechanism may use less than approximately 5 W / h, 4 W / h, 3 W / h, 2 W / h, 1 W / h, or even less. Optionally, the load of movable objects may consume a small amount of energy, such as approximately 5 W / h, 4 W / h, 3 W / h, 2 W / h, less than 1 W / h, or even less.

図２０は、本願発明の複数の実施形態に係る無人航空機（ＵＡＶ）１３００を図示する。ＵＡＶは、本明細書に説明されるような可動物体の例であり得る。ＵＡＶ１３００は、４つのロータ１３０２、１３０４、１３０６および１３０８を有する推進システムを含み得る。任意の数の（例えば、１、２、３、４、５、６、またはより多くの）ロータが設けられ得る。複数のロータは、本明細書の他の箇所に説明されている複数の自己締付式ロータの複数の実施形態であり得る。無人航空機の複数のロータ、ロータ組立体、または他の推進システムは、無人航空機が、ホバリングする／位置を維持する、向きを変化させる、および／または位置を変化させることを可能とし得る。対向する複数のロータの複数のシャフト間の距離は、任意の適した長さ１３１０であり得る。例えば、長さ１３１０は、２ｍより短くてもよく、またはそれと等しくてもよく、若しくは、５ｍより短くてもよく、またはそれと等しくてもよい。いくつかの実施形態において、長さ１３１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、または５ｃｍ〜５ｍの範囲内であり得る。本明細書におけるＵＡＶについてのいずれの説明も、異なるタイプの可動物体などの可動物体に当てはまり得、またその逆も当てはまる。 FIG. 20 illustrates an unmanned aerial vehicle (UAV) 1300 according to embodiments of the present invention. A UAV may be an example of a movable object as described herein. The UAV 1300 may include a propulsion system having four rotors 1302, 1304, 1306, and 1308. Any number of rotors (eg, 1, 2, 3, 4, 5, 6, or more) may be provided. The multiple rotors can be multiple embodiments of multiple self-tightening rotors described elsewhere herein. Multiple rotors, rotor assemblies, or other propulsion systems of an unmanned aerial vehicle may allow the unmanned aircraft to hover / maintain position, change orientation, and / or change position. The distance between the shafts of the opposing rotors can be any suitable length 1310. For example, the length 1310 may be less than or equal to 2 m, or may be less than or equal to 5 m. In some embodiments, the length 1310 can be in the range of 40 cm to 1 m, 10 cm to 2 m, or 5 cm to 5 m. Any description of UAV herein may apply to movable objects, such as different types of movable objects, and vice versa.

いくつかの実施形態において、可動物体は積み荷を運ぶよう構成され得る。積み荷は、乗客、貨物、器材、器具、および同様のものの１または複数を含み得る。積み荷は筐体内に設けられ得る。筐体は、可動物体の筐体とは別個であり得、可動物体のための筐体の一部であり得る。代替的に、積み荷には筐体が設けられ得、他方、可動物体は筐体を有さない。代替的に、積み荷の複数の部分、または積み荷全体は筐体なしで設けられ得る。積み荷は、可動物体に対して強固に固定され得る。オプションで、積み荷は、可動物体に対して動くことが可能（例えば、可動物体に対して並進可能または回転可能）であり得る。 In some embodiments, the movable object may be configured to carry a load. A cargo may include one or more of passengers, cargo, equipment, equipment, and the like. A load may be provided in the housing. The housing may be separate from the housing of the movable object and may be part of the housing for the movable object. Alternatively, the load may be provided with a housing, while the movable object does not have a housing. Alternatively, multiple portions of the load, or the entire load may be provided without a housing. The load can be firmly fixed to the movable object. Optionally, the load can be movable relative to the movable object (eg, translatable or rotatable relative to the movable object).

いくつかの実施形態において、積み荷は積載物を含む。積載物は、何ら動作または機能を実行しないように構成され得る。代替的に、積載物は、機能的な積載物としても知られる動作または機能を実行するよう構成された積載物であり得る。例えば、積載物は、１または複数の対象を調査するための１または複数のセンサを含み得る。画像キャプチャデバイス（例えば、カメラ）、オーディオキャプチャデバイス（例えば、パラボラマイク）、赤外線イメージングデバイス、または紫外線イメージングデバイスなど任意の適したセンサが、積載物に組み込まれ得る。センサは、静的な感知データ（例えば、写真）または動的な感知データ（例えば、ビデオ）を提供し得る。いくつかの実施形態において、センサは、積載物の対象に関する感知データを提供する。代替的に、または組み合わせて、積載物は、複数の信号を１または複数の対象へ提供するための１または複数の発信機を含み得る。照明光源または音源など任意の適した発信機が用いられ得る。いくつかの実施形態において、積載物は、可動物体とは遠隔であるモジュールとの通信などのための１または複数の送受信機を含む。オプションで、積載物は、環境または対象とインタラクトするよう構成され得る。例えば、積載物は、複数の物体を操作可能なロボットアームなどツール、器具、または機構を含み得る。 In some embodiments, the load includes a load. The load may be configured not to perform any operation or function. Alternatively, the load may be a load configured to perform an action or function also known as a functional load. For example, a load may include one or more sensors for investigating one or more objects. Any suitable sensor such as an image capture device (eg, camera), audio capture device (eg, parabolic microphone), infrared imaging device, or ultraviolet imaging device may be incorporated into the load. The sensor may provide static sensing data (eg, photographs) or dynamic sensing data (eg, video). In some embodiments, the sensor provides sensing data regarding the object of the load. Alternatively or in combination, the load may include one or more transmitters for providing multiple signals to one or more objects. Any suitable transmitter such as an illumination light source or a sound source can be used. In some embodiments, the load includes one or more transceivers, such as for communication with a module that is remote from the movable object. Optionally, the load can be configured to interact with the environment or object. For example, a load may include tools, instruments, or mechanisms such as a robot arm that can manipulate multiple objects.

オプションで、積み荷は支持機構を含み得る。支持機構は積載物に対して設けられ得、積載物は、直接的に（例えば、可動物体に直接的に接触して）または間接的に（例えば、可動物体に接触せず）支持機構を介して可動物体に接続され得る。逆に、積載物は支持機構を要することなく可動物体に搭載され得る。積載物は、支持機構と一体的に形成され得る。代替的に、積載物は支持機構と解放可能に接続され得る。いくつかの実施形態において、積載物は、１または複数の積載物要素を含み得、複数の積載物要素の１または複数は、上記にて説明されるように可動物体および／または支持機構に対して動くことが可能であり得る。 Optionally, the load can include a support mechanism. A support mechanism may be provided for the load, and the load may be directly (eg, in direct contact with the movable object) or indirectly (eg, not in contact with the movable object) via the support mechanism. And can be connected to a movable object. Conversely, the load can be mounted on a movable object without requiring a support mechanism. The load can be formed integrally with the support mechanism. Alternatively, the load can be releasably connected to the support mechanism. In some embodiments, the load may include one or more load elements, where one or more of the plurality of load elements is relative to the movable object and / or support mechanism as described above. It may be possible to move.

支持機構は、可動物体と一体的に形成され得る。代替的に、支持機構は可動物体と解放可能に接続され得る。支持機構は、直接的または間接的に可動物体に接続され得る。支持機構は、積載物に対してサポートを提供し（例えば、積載物の重量の少なくとも一部を運び）得る。支持機構は、積載物の動きを安定化させ得る、および／または方向付け得ることが可能な適した取り付け構造（例えば、ジンバルプラットフォーム）を含み得る。いくつかの実施形態において、支持機構は、可動物体に対する積載物の状態（例えば、位置および／または向き）を制御するよう適合され得る。例えば、支持機構は、積載物が可動物体の動きに関わらず適した基準枠に対してそれの位置および／または向きを維持するように、可動物体に対して（例えば、１、２、または３つの並進度、および／または１、２、または３つの回転度に関して）に動くよう構成され得る。基準枠は固定された基準枠（例えば、周囲環境）であり得る。代替的に、基準枠は動いている基準枠（例えば、可動物体、積載物対象）であり得る。 The support mechanism can be formed integrally with the movable object. Alternatively, the support mechanism can be releasably connected to the movable object. The support mechanism may be directly or indirectly connected to the movable object. The support mechanism may provide support for the load (eg, carry at least a portion of the weight of the load). The support mechanism can include a suitable mounting structure (eg, a gimbal platform) that can stabilize and / or direct the movement of the load. In some embodiments, the support mechanism can be adapted to control the state (eg, position and / or orientation) of the load relative to the movable object. For example, the support mechanism may be relative to the movable object (eg, 1, 2, or 3) such that the load maintains its position and / or orientation relative to a suitable reference frame regardless of the movement of the movable object. 2 degrees of translation and / or 1, 2 or 3 degrees of rotation). The reference frame may be a fixed reference frame (eg, the ambient environment). Alternatively, the reference frame may be a moving reference frame (eg, movable object, load object).

いくつかの実施形態において、支持機構は、支持機構および／または可動物体に対する積載物の動きを可能とするよう構成され得る。動きは、（例えば、１、２、または３つの軸に沿った）最大３自由度に関する並進、（例えば、１、２、または３つの軸周りの）最大３自由度に関する回転、またはこれらの任意の適した組み合わせであり得る。 In some embodiments, the support mechanism may be configured to allow movement of the load relative to the support mechanism and / or the movable object. Movement can be translation with up to 3 degrees of freedom (eg, along 1, 2 or 3 axes), rotation with up to 3 degrees of freedom (eg, around 1, 2 or 3 axes), or any of these Any suitable combination.

いくつかの場合において、支持機構は、支持機構枠組立体および支持機構作動組立体を含み得る。支持機構枠組立体は、積載物に対して構造的なサポートを提供し得る。支持機構枠組立体は、複数の個別の支持機構枠部品を含み得、これらのうちいくつかは、互いに対して動くことが可能であり得る。支持機構作動組立体は、複数の個別の支持機構枠部品の動きを作動させる１または複数のアクチュエータ（例えば、モータ）を含み得る。複数のアクチュエータは、複数の支持機構枠部品の動きを同時に可能とし得、または、一時に単一の支持機構枠部品の動きを可能とするよう構成され得る。複数の支持機構枠部品の動きは、積載物の対応する動きを生じさせ得る。例えば、支持機構作動組立体は、１または複数の回転軸（例えば、ロール軸、ピッチ軸、またはヨー軸）周りの１または複数の支持機構枠部品の回転を作動させ得る。１または複数の支持機構枠部品の回転は積載物を、可動物体に対して１または複数の回転軸周りで回転させ得る。代替的に、または組み合わせて、支持機構作動組立体は、１または複数の並進軸に沿った１または複数の支持機構枠部品の並進を作動させ得、これにより、可動物体に対して１または複数の対応する軸に沿った積載物の並進を生じさせ得る。 In some cases, the support mechanism may include a support mechanism frame assembly and a support mechanism actuation assembly. The support mechanism frame assembly may provide structural support for the load. The support mechanism frame assembly may include a plurality of individual support mechanism frame parts, some of which may be movable relative to each other. The support mechanism actuation assembly may include one or more actuators (eg, motors) that actuate movement of a plurality of individual support mechanism frame components. The plurality of actuators may allow movement of a plurality of support mechanism frame parts simultaneously, or may be configured to allow movement of a single support mechanism frame part at a time. The movement of the plurality of support mechanism frame parts can cause a corresponding movement of the load. For example, the support mechanism actuation assembly may actuate rotation of one or more support mechanism frame components around one or more rotation axes (eg, roll axis, pitch axis, or yaw axis). The rotation of the one or more support mechanism frame components may cause the load to rotate about one or more axes of rotation relative to the movable object. Alternatively or in combination, the support mechanism actuation assembly may actuate translation of one or more support mechanism frame components along one or more translation axes, thereby providing one or more to the movable object. Can cause translation of the load along the corresponding axis.

いくつかの実施形態において、可動物体、支持機構、および積載物の、固定された基準枠（例えば、周囲環境）に対する、および／または互いに対する動きは、端末により制御され得る。端末は、可動物体、支持機構、および／または積載物から距離を置いた位置における遠隔制御デバイスであり得る。端末は、支持プラットフォーム上に配置され得、またはそれに貼り付けられ得る。代替的に、端末はハンドヘルドデバイスまたはウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイク、またはこれらの適した複数の組み合わせを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、またはディスプレイなどのユーザインタフェースを含み得る。手動で入力されたコマンド、音声制御、ジェスチャ制御、（例えば、端末の動き、位置、または傾きを介した）位置制御など任意の適したユーザ入力が、端末とインタラクトするのに用いられ得る。 In some embodiments, the movement of movable objects, support mechanisms, and loads relative to a fixed reference frame (eg, the ambient environment) and / or relative to each other can be controlled by the terminal. A terminal may be a remote control device at a distance from a movable object, a support mechanism, and / or a load. The terminal can be placed on or affixed to the support platform. Alternatively, the terminal can be a handheld device or a wearable device. For example, the terminal may include a smartphone, tablet, laptop, computer, glasses, gloves, helmet, microphone, or any suitable combination thereof. The terminal may include a user interface such as a keyboard, mouse, joystick, touch screen, or display. Any suitable user input such as manually entered commands, voice control, gesture control, position control (eg, via terminal movement, position, or tilt) may be used to interact with the terminal.

端末は、可動物体、支持機構、および／または積載物の任意の適した状態を制御するのに用いられ得る。例えば、端末は、可動物体、支持機構、および／または積載物の、固定された基準に対する、互いからの、および／または互いへの位置および／または向きを制御するのに用いられ得る。いくつかの実施形態において、端末は、支持機構の作動組立体、積載物のセンサ、積載物の発信機などの可動物体、支持機構、および／または積載物の複数の個々の要素を制御するのに用いられ得る。端末は、可動物体、支持機構、または積載物の１または複数と通信を行うよう適合させられた無線通信デバイスを含み得る。 The terminal can be used to control any suitable state of the movable object, the support mechanism, and / or the load. For example, the terminals can be used to control the position and / or orientation of movable objects, support mechanisms, and / or loads relative to and / or relative to each other relative to a fixed reference. In some embodiments, the terminal controls a moving mechanism such as a support mechanism actuation assembly, a load sensor, a load transmitter, a support mechanism, and / or a plurality of individual elements of the load. Can be used. A terminal may include a wireless communication device adapted to communicate with one or more of a movable object, a support mechanism, or a load.

端末は、可動物体、支持機構、および／または積載物の情報を見るための適したディスプレイユニットを含み得る。例えば、端末は、位置、並進速度、並進加速度、向き、角速度、角加速度、またはこれらの任意の適した複数の組み合わせに関する、可動物体、支持機構、および／または積載物の情報を表示するよう構成され得る。いくつかの実施形態において、端末は、機能的な積載物により提供されるデータ（例えば、カメラまたは他の画像キャプチャデバイスにより記録された複数の画像）など積載物により提供される情報を表示し得る。 The terminal may include a display unit suitable for viewing information on movable objects, support mechanisms, and / or loads. For example, the terminal is configured to display movable object, support mechanism, and / or load information regarding position, translation speed, translation acceleration, orientation, angular velocity, angular acceleration, or any suitable combination thereof. Can be done. In some embodiments, the terminal may display information provided by the load, such as data provided by the functional load (eg, multiple images recorded by a camera or other image capture device). .

オプションで、同じ端末が、可動物体、支持機構、および／または積載物、若しくは可動物体、支持機構、および／または積載物の状態の制御と、可動物体、支持機構、および／または積載物からの情報の受信および／または表示との両方を行い得る。例えば、端末は、積載物によりキャプチャされた画像データ、または積載物の位置についての情報を表示している間、環境に対する積載物の配置を制御し得る。代替的に、異なる複数の端末が異なる複数の機能のために用いられ得る。例えば、第１端末が可動物体、支持機構、および／または積載物の動きまたは状態を制御し得、他方、第２端末が可動物体、支持機構、および／または積載物からの情報を受信および／または表示し得る。例えば、第１端末が、環境に対する積載物の配置を制御するのに用いられ得、他方、第２端末が、積載物によりキャプチャされた画像データを表示し得る。可動物体と、可動物体の制御とデータの受信との両方を行う統合型の端末との間で、または可動物体と、可動物体の制御とデータの受信との両方を行う複数の端末との間で、様々な通信モードが利用され得る。例えば、少なくとも２つの異なる通信モードが、可動物体と、可動物体の制御と可動物体からのデータの受信との両方を行う端末との間で形成され得る。 Optionally, the same terminal can control the state of the movable object, support mechanism, and / or load, or the state of the moveable object, support mechanism, and / or load, and from the movable object, support mechanism, and / or load. Both receiving and / or displaying information can be performed. For example, the terminal may control the placement of the load relative to the environment while displaying image data captured by the load or information about the position of the load. Alternatively, different terminals may be used for different functions. For example, the first terminal may control the movement or state of the movable object, the support mechanism, and / or the load, while the second terminal receives and / or receives information from the movable object, the support mechanism, and / or the load. Or you can display. For example, the first terminal can be used to control the placement of the load relative to the environment, while the second terminal can display the image data captured by the load. Between a movable object and an integrated terminal that controls both the movable object and receives data, or between a movable object and multiple terminals that both control the movable object and receive data Various communication modes can be used. For example, at least two different communication modes may be formed between a movable object and a terminal that both controls the movable object and receives data from the movable object.

図２１は、複数の実施形態に係る、支持機構１４０２および積載物１４０４を含む可動物体１４００を例示する。可動物体１４００は航空機として描写されているが、この描写は限定であることを意図されておらず、本明細書で前に説明されるように任意の適したタイプの可動物体が用いられ得る。複数の航空機システムに関する文脈で本明細書に説明されている複数の実施形態のうち何れかが、任意の適した可動物体（例えば、ＵＡＶ）に適用され得ることを当業者は理解されよう。いくつかの場合において、積載物１４０４は、支持機構１４０２を要することなく可動物体１４００に設けられ得る。可動物体１４００は、複数の推進機構１４０６、感知システム１４０８、および通信システム１４１０を含み得る。 FIG. 21 illustrates a movable object 1400 including a support mechanism 1402 and a load 1404, according to embodiments. Although the movable object 1400 is depicted as an aircraft, this depiction is not intended to be limiting, and any suitable type of movable object may be used as previously described herein. Those skilled in the art will appreciate that any of the embodiments described herein in the context of multiple aircraft systems may be applied to any suitable movable object (eg, UAV). In some cases, the load 1404 may be provided on the movable object 1400 without requiring a support mechanism 1402. The movable object 1400 can include a plurality of propulsion mechanisms 1406, a sensing system 1408, and a communication system 1410.

複数の推進機構１４０６は、前に説明されるように複数のロータ、複数のプロペラ、複数のブレード、複数のエンジン、複数のモータ、複数の車輪、複数の車軸、複数の磁石、複数のノズルの１または複数を含み得る。例えば、複数の推進機構１４０６は、本明細書の他の箇所において開示されているように、複数の自己締付式ロータ、複数のロータ組立体、または他の複数の回転式推進ユニットであり得る。可動物体は、１または複数の、２またはそれより多くの、３またはそれより多くの、４またはそれより多くの推進機構を有し得る。複数の推進機構は全て同じタイプのものであり得る。代替的に、１または複数の推進機構は、異なる複数のタイプの推進機構であり得る。複数の推進機構１４０６は、本明細書の他の箇所において説明されるような支持要素（例えば、駆動シャフト）など任意の適した手段を用いて可動物体１４００に搭載され得る。複数の推進機構１４０６は、頂部、底部、前部、後部、複数の側部、またはこれらの任意の適した複数の組み合わせなど可動物体１４００の任意の適した部分に搭載され得る。 The multiple propulsion mechanisms 1406 include multiple rotors, multiple propellers, multiple blades, multiple engines, multiple motors, multiple wheels, multiple axles, multiple magnets, multiple nozzles, as previously described. One or more may be included. For example, the plurality of propulsion mechanisms 1406 may be a plurality of self-tightening rotors, a plurality of rotor assemblies, or other plurality of rotary propulsion units, as disclosed elsewhere herein. . The movable object may have one or more, two or more, three or more, four or more propulsion mechanisms. The plurality of propulsion mechanisms can all be of the same type. Alternatively, the one or more propulsion mechanisms may be different types of propulsion mechanisms. The plurality of propulsion mechanisms 1406 may be mounted on the movable object 1400 using any suitable means such as a support element (eg, a drive shaft) as described elsewhere herein. The plurality of propulsion mechanisms 1406 may be mounted on any suitable portion of the movable object 1400, such as the top, bottom, front, rear, sides, or any suitable combination of these.

いくつかの実施形態において、複数の推進機構１４０６は、可動物体１４００が可動物体１４００の水平方向の動きを何ら要することなく（例えば、滑走路を滑走することなく）表面から鉛直方向に離陸する、または表面に鉛直方向に着陸することを可能とし得る。オプションで、複数の推進機構１４０６は、可動物体１４００が指定された位置および／または向きで空中でホバリングすることを可能とするよう動作可能であり得る。複数の推進機構１４００の１または複数は、他の複数の推進機構とは独立して制御され得る。代替的に、複数の推進機構１４００は、同時に制御されるよう構成され得る。例えば、可動物体１４００は、揚力および／または推力を可動物体に対して提供し得る複数の水平面指向のロータを有し得る。複数の水平面指向のロータは、鉛直方向の離陸、鉛直方向の着陸、およびホバリング能力を可動物体１４００に対して提供するよう作動させられ得る。いくつかの実施形態において、複数の水平面指向のロータの１または複数が反時計回り方向に回転し得る間、複数の水平面指向のロータの１または複数は時計回り方向に回転し得る。例えば、時計回りのロータの数は、反時計回りのロータの数と等しくてもよい。複数の水平面指向のロータのうちそれぞれの回転速度は、各ロータにより生成される揚力および／または推力を制御し、およびそれにより、（例えば、最大３つの並進度、および最大３つの回転度に関して）可動物体１４００の空間的配置、速度、および／または加速度を調整するために独立して変化させられ得る。 In some embodiments, the plurality of propulsion mechanisms 1406 allow the movable object 1400 to take off vertically from the surface without requiring any horizontal movement of the movable object 1400 (eg, without sliding on the runway). Or it may be possible to land vertically on the surface. Optionally, the plurality of propulsion mechanisms 1406 may be operable to allow the movable object 1400 to hover in the air at a specified position and / or orientation. One or more of the plurality of propulsion mechanisms 1400 may be controlled independently of other propulsion mechanisms. Alternatively, multiple propulsion mechanisms 1400 can be configured to be controlled simultaneously. For example, the movable object 1400 may have a plurality of horizontal plane oriented rotors that may provide lift and / or thrust to the movable object. The plurality of horizontal plane oriented rotors may be operated to provide vertical takeoff, vertical landing, and hovering capabilities to the movable object 1400. In some embodiments, one or more of the plurality of horizontal plane oriented rotors may rotate in a clockwise direction while one or more of the plurality of horizontal plane oriented rotors may rotate in a counterclockwise direction. For example, the number of clockwise rotors may be equal to the number of counterclockwise rotors. The rotational speed of each of the plurality of horizontally oriented rotors controls the lift and / or thrust generated by each rotor, and thereby (for example, for up to 3 degrees of translation and up to 3 degrees of rotation). It can be varied independently to adjust the spatial arrangement, velocity, and / or acceleration of the movable object 1400.

感知システム１４０８は、（例えば、最大３つの並進度、および最大３つの回転度に関して）可動物体１４００の空間的配置、速度および／または加速度を感知し得る１または複数のセンサを含み得る。１または複数のセンサは、全地球測位システム（ＧＰＳ）センサ、動きセンサ、慣性センサ、近接センサ、または画像センサを含み得る。感知システム１４０８により提供される感知データは、（例えば、以下に説明されるように、適したプロセッシングユニットおよび／または制御モジュールを用いて）可動物体１４００の空間的配置、速度、および／または向きを制御するのに用いられ得る。代替的に、感知システム１４０８は、天候条件、潜在的な複数の障害物への近接、複数の地理的特徴の位置、複数の人工構造の位置、および同様のものなど、可動物体を取り囲む環境についてのデータを提供するのに用いられ得る。 Sensing system 1408 may include one or more sensors that can sense the spatial arrangement, velocity, and / or acceleration of movable object 1400 (eg, with respect to up to three degrees of translation and up to three degrees of rotation). The one or more sensors may include a global positioning system (GPS) sensor, a motion sensor, an inertial sensor, a proximity sensor, or an image sensor. Sensing data provided by the sensing system 1408 may indicate the spatial arrangement, velocity, and / or orientation of the movable object 1400 (eg, using a suitable processing unit and / or control module, as described below). Can be used to control. Alternatively, the sensing system 1408 may be used for environments surrounding moving objects, such as weather conditions, proximity to potential obstacles, locations of multiple geographic features, locations of multiple artificial structures, and the like. Can be used to provide data.

通信システム１４１０は、通信システム１４１４を有する端末１４１２との複数の無線信号１４１６を介した通信を可能とする。通信システム１４１０、１４１４は、無線通信に適した任意の数の送信機、受信機、および／または送受信機を含み得る。通信は、データが１方向にのみ送信され得るように片方向通信であり得る。例えば、片方向通信は、可動物体１４００のみがデータを端末１４１２へ送信することを伴い得、またはその逆も当てはまる。データは、通信システム１４１０の１または複数の送信機から通信システム１４１２の１または複数の受信機へ送信され得、またはその逆も当てはまる。代替的に、通信は、データが可動物体１４００と端末１４１２との間で両方の方向に送信され得るように双方向通信であり得る。双方向通信は、通信システム１４１０の１または複数の送信機から通信システム１４１４の１または複数の受信機へデータを送信することを伴い得、またその逆も当てはまる。 The communication system 1410 enables communication with a terminal 1412 having the communication system 1414 via a plurality of radio signals 1416. The communications system 1410, 1414 may include any number of transmitters, receivers, and / or transceivers suitable for wireless communications. The communication can be a one-way communication so that data can only be transmitted in one direction. For example, one-way communication may involve only the movable object 1400 transmitting data to the terminal 1412, or vice versa. Data may be transmitted from one or more transmitters of communication system 1410 to one or more receivers of communication system 1412, or vice versa. Alternatively, the communication can be bi-directional communication so that data can be transmitted between the movable object 1400 and the terminal 1412 in both directions. Two-way communication may involve transmitting data from one or more transmitters of communication system 1410 to one or more receivers of communication system 1414, and vice versa.

いくつかの実施形態において、端末１４１２は、可動物体１４００、支持機構１４０２、および積載物１４０４の１または複数に対して制御データを提供し得、可動物体１４００、支持機構１４０２、および積載物１４０４の１または複数から情報（例えば、可動物体、支持機構または積載物の位置および／または動き情報、積載物のカメラによりキャプチャされた画像データなど積載物により感知されたデータ）を受信し得る。いくつかの場合において、端末からの制御データは、可動物体、支持機構、および／または積載物の複数の相対的な位置、複数の動き、複数の作動、または複数の制御のための複数の命令を含み得る。例えば、制御データにより可動物体の位置および／または向きが（例えば、複数の推進機構１４０６の制御を介して）変更されることになり得、または可動物体に対して積載物が（例えば、支持機構１４０２の制御を介して）動くことになり得る。端末からの制御データにより、カメラまたは他の画像キャプチャデバイスの動作の制御（例えば、静止画または動画の撮像、ズームインまたはアウト、電源のオンオフ、複数の画像化モードの切り替え、画像解像度の変更、焦点の変更、被写界深度の変更、露出時間の変更、視角または視界の変更）など積載物が制御されることになり得る。いくつかの場合において、可動物体、支持機構、および／または積載物からの複数の通信は、（例えば、感知システム１４０８の、または積載物１４０４の）１または複数のセンサからの情報を含み得る。複数の通信は、１または複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、動きセンサ、慣性センサ、近接センサ、または画像センサ）からの感知された情報を含み得る。そのような情報は可動物体、支持機構、および／または積載物の位置（例えば、位置、向き）、動き、または加速度に関し得る。積載物からのそのような情報は、積載物によりキャプチャされたデータ、または積載物の感知された状態を含み得る。端末１４１２により送信されて提供される制御データは、可動物体１４００、支持機構１４０２、または積載物１４０４の１または複数の状態を制御するよう構成され得る。代替的に、または組み合わせて、支持機構１４０２および積載物１４０４はそれぞれ、端末１４１２が可動物体１４００、支持機構１４０２、および積載物１４０４のうちそれぞれと独立して通信を行い得るように、またそれぞれを制御出来るよう端末と通信を行うよう構成された通信モジュールも含み得る。 In some embodiments, the terminal 1412 may provide control data for one or more of the movable object 1400, the support mechanism 1402, and the load 1404, and the mobile object 1400, the support mechanism 1402, and the load 1404. Information (eg, data sensed by the load, such as position and / or movement information of a movable object, support mechanism or load, image data captured by the load camera, etc.) may be received from one or more. In some cases, control data from the terminal may include multiple commands for multiple relative positions, multiple movements, multiple actuations, or multiple controls of the movable object, support mechanism, and / or load. Can be included. For example, the control data may cause the position and / or orientation of the movable object to be changed (eg, via control of a plurality of propulsion mechanisms 1406), or the load (eg, a support mechanism) relative to the movable object. (Via 1402 control). Control data from the terminal to control the operation of the camera or other image capture device (eg, still or video capture, zoom in or out, power on / off, switch between multiple imaging modes, change image resolution, focus , Change of depth of field, change of exposure time, change of viewing angle or field of view) and the like can be controlled. In some cases, the plurality of communications from the movable object, the support mechanism, and / or the load may include information from one or more sensors (eg, of the sensing system 1408 or of the load 1404). The plurality of communications may include sensed information from one or more different types of sensors (eg, GPS sensors, motion sensors, inertial sensors, proximity sensors, or image sensors). Such information may relate to the position (eg, position, orientation), movement, or acceleration of movable objects, support mechanisms, and / or loads. Such information from the load may include data captured by the load or a sensed state of the load. Control data transmitted and provided by the terminal 1412 may be configured to control one or more states of the movable object 1400, the support mechanism 1402, or the load 1404. Alternatively, or in combination, the support mechanism 1402 and the load 1404 are each such that the terminal 1412 can communicate independently with each of the movable object 1400, the support mechanism 1402, and the load 1404, respectively. A communication module configured to communicate with the terminal for control can also be included.

いくつかの実施形態において、可動物体１４００は、端末１４１２に加えて、または端末１４１２の代わりに他の遠隔デバイスと通信を行うよう構成され得る。また端末１４１２は、可動物体１４００のみならず他の遠隔デバイスとも通信を行うよう構成され得る。例えば、可動物体１４００および／または端末１４１２は、他の可動物体、若しくは他の可動物体の支持機構または積載物と通信を行い得る。所望されるとき、遠隔デバイスは第２端末または他のコンピューティングデバイス（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または他のモバイルデバイス）であり得る。遠隔デバイスは、可動物体１４００へデータを送信し、可動物体１４００からデータを受信し、端末１４１２へデータを送信し、および／または端末１４１２からデータを受信するよう構成され得る。オプションで、遠隔デバイスは、可動物体１４００および／または端末１４１２から受信したデータがウェブサイトまたはサーバにアップロードされ得るようにインターネットまたは他の遠距離通信ネットワークに接続され得る。 In some embodiments, the movable object 1400 may be configured to communicate with other remote devices in addition to or in place of the terminal 1412. The terminal 1412 can also be configured to communicate not only with the movable object 1400 but also with other remote devices. For example, movable object 1400 and / or terminal 1412 may communicate with other movable objects, or other movable object support mechanisms or loads. When desired, the remote device can be a second terminal or other computing device (eg, a computer, laptop, tablet, smartphone, or other mobile device). The remote device may be configured to transmit data to the movable object 1400, receive data from the movable object 1400, transmit data to the terminal 1412, and / or receive data from the terminal 1412. Optionally, the remote device may be connected to the Internet or other telecommunications network so that data received from movable object 1400 and / or terminal 1412 can be uploaded to a website or server.

図２２は、複数の実施形態に係る、可動物体を制御するためのシステム１５００のブロック図を用いた概略図である。システム１５００は、本明細書に開示される複数のシステム、デバイス、および方法の任意の適した実施形態と組み合わせて用いられ得る。システム１５００は、感知モジュール１５０２、プロセッシングユニット１５０４、非一時的コンピュータ可読媒体１５０６、制御モジュール１５０８、および通信モジュール１５１０を含み得る。 FIG. 22 is a schematic diagram using a block diagram of a system 1500 for controlling a movable object, according to embodiments. System 1500 can be used in combination with any suitable embodiment of multiple systems, devices, and methods disclosed herein. System 1500 can include a sensing module 1502, a processing unit 1504, a non-transitory computer readable medium 1506, a control module 1508, and a communication module 1510.

感知モジュール１５０２は、異なる複数のやり方で複数の可動物体に関連する情報を収集する異なる複数のタイプのセンサを利用し得る。異なる複数のタイプのセンサが、異なる複数のタイプの信号、または異なる複数の発信源からの複数の信号を感知し得る。例えば、複数のセンサは、慣性センサ、ＧＰＳセンサ、近接センサ（例えば、ライダー）、または視覚／画像センサ（例えば、カメラ）を含み得る。感知モジュール１５０２は、複数のプロセッサを有するプロセッシングユニット１５０４に操作可能に接続され得る。いくつかの実施形態において、感知モジュールは、感知データを直接的に適した外部デバイスまたはシステムへ送信するよう構成された送信モジュール１５１２（例えば、Ｗｉ−Ｆｉ（登録商標）画像送信モジュール）に操作可能に接続され得る。例えば、送信モジュール１５１２は、感知モジュール１５０２のカメラによりキャプチャされた複数の画像を遠隔端末へ送信するのに用いられ得る。 Sensing module 1502 may utilize different types of sensors that collect information related to multiple movable objects in different ways. Different types of sensors may sense different types of signals or signals from different sources. For example, the plurality of sensors may include an inertial sensor, a GPS sensor, a proximity sensor (eg, a rider), or a visual / image sensor (eg, a camera). The sensing module 1502 can be operatively connected to a processing unit 1504 having a plurality of processors. In some embodiments, the sensing module is operable with a transmission module 1512 (eg, a Wi-Fi® image transmission module) configured to transmit the sensing data directly to a suitable external device or system. Can be connected to. For example, the transmission module 1512 can be used to transmit multiple images captured by the camera of the sensing module 1502 to a remote terminal.

プロセッシングユニット１５０４は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ）など１または複数のプロセッサを有し得る。プロセッシングユニット１５０４は、非一時的コンピュータ可読媒体１５０６に操作可能に接続され得る。非一時的コンピュータ可読媒体１５０６は、１または複数の段階を実行するためにプロセッシングユニット１５０４により実行可能であるロジック、コード、および／または複数のプログラム命令を格納し得る。非一時的コンピュータ可読媒体は、１または複数のメモリユニット（例えば、ＳＤカードまたはランダムアクセスメモリ（ＲＡＭ）など取り外し可能な媒体または外部ストレージ）を含み得る。いくつかの実施形態において、感知モジュール１５０２からのデータは、非一時的コンピュータ可読媒体１５０６の複数のメモリユニットへ直接的に伝達され、その中に格納され得る。非一時的コンピュータ可読媒体１５０６の複数のメモリユニットは、本明細書に説明されている複数の方法の任意の適した実施形態を実行するべくプロセッシングユニット１５０４により実行可能なロジック、コード、および／または複数のプログラム命令を格納し得る。例えば、プロセッシングユニット１５０４は、プロセッシングユニット１５０４の１または複数のプロセッサに、感知モジュールにより生成された感知データを分析させる複数の命令を実行するよう構成され得る。複数のメモリユニットは、プロセッシングユニット１５０４により処理されることになる感知モジュールからの感知データを格納し得る。いくつかの実施形態において、非一時的コンピュータ可読媒体１５０６の複数のメモリユニットは、プロセッシングユニット１５０４により生成される複数の処理結果を格納するのに用いられ得る。 The processing unit 1504 may include one or more processors such as a programmable processor (eg, a central processing unit (CPU). The processing unit 1504 may be operatively connected to a non-transitory computer readable medium 1506. Non-transitory. The computer readable medium 1506 may store logic, code, and / or a plurality of program instructions that can be executed by the processing unit 1504 to perform one or more steps. Or may include multiple memory units (eg, removable media such as an SD card or random access memory (RAM) or external storage) In some embodiments, data from the sensing module 1502 is non-temporary The information may be transmitted directly to and stored in the plurality of memory units of computer readable medium 1506. The plurality of memory units of non-transitory computer readable medium 1506 may be any of the methods described herein. May store logic, code, and / or multiple program instructions executable by the processing unit 1504. For example, the processing unit 1504 may include one or more processors in the processing unit 1504, A plurality of instructions may be configured to execute the sensing data generated by the sensing module, and the plurality of memory units may store the sensing data from the sensing module to be processed by the processing unit 1504. Real In embodiment, the plurality of memory units of non-transitory computer-readable medium 1506 may be used to store a plurality of processing results generated by the processing unit 1504.

いくつかの実施形態において、プロセッシングユニット１５０４は、可動物体の状態を制御するよう構成された制御モジュール１５０８に操作可能に接続され得る。例えば、制御モジュール１５０８は、６自由度に関して可動物体の空間的配置、速度、および／または加速度を調整するよう可動物体の複数の推進機構を制御するよう構成され得る。代替的に、または組み合わせて、制御モジュール１５０８は、支持機構、積載物、または感知モジュールの状態の１または複数を制御し得る。 In some embodiments, the processing unit 1504 may be operably connected to a control module 1508 that is configured to control the state of the movable object. For example, the control module 1508 can be configured to control multiple propulsion mechanisms of the movable object to adjust the spatial arrangement, speed, and / or acceleration of the movable object with respect to six degrees of freedom. Alternatively or in combination, the control module 1508 may control one or more of the state of the support mechanism, load, or sensing module.

プロセッシングユニット１５０４は、１または複数の外部デバイス（例えば、端末、ディスプレイデバイス、または他のリモートコントローラ）へデータを送信し、および／またはデータをそれらから受信するよう構成された通信モジュール１５１０に操作可能に接続され得る。有線通信または無線通信など任意の適した通信手段が用いられ得る。例えば、通信モジュール１５１０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ（登録商標）、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、遠距離通信ネットワーク、クラウド通信、および同様のものの１または複数を利用し得る。オプションで、タワー、衛星、移動局などの複数の中継局が用いられ得る。複数の無線通信は近接性依存または近接性非依存であり得る。いくつかの実施形態において、複数の通信のために見通し線は要求されてもよくされなくてもよい。通信モジュール１５１０は、感知モジュール１５０２からの感知データ、プロセッシングユニット１５０４により生成された複数の処理結果、所与の制御データ、端末またはリモートコントローラからの複数のユーザコマンド、および同様のものの１または複数を送信し得、および／またはそれらを受信し得る。 The processing unit 1504 is operable to a communication module 1510 configured to send data to and / or receive data from one or more external devices (eg, terminal, display device, or other remote controller). Can be connected to. Any suitable communication means such as wired communication or wireless communication can be used. For example, the communication module 1510 can be a local area network (LAN), wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, and the like One or more of the things may be utilized. Optionally, multiple relay stations such as towers, satellites, mobile stations may be used. Multiple wireless communications may be proximity dependent or proximity independent. In some embodiments, a line of sight may or may not be required for multiple communications. The communication module 1510 receives one or more of sensing data from the sensing module 1502, multiple processing results generated by the processing unit 1504, given control data, multiple user commands from the terminal or remote controller, and the like. They can transmit and / or receive them.

システム１５００の複数のコンポーネントは、任意の適した構成で配置され得る。例えば、システム１５００の複数のコンポーネントの１または複数は、可動物体、支持機構、積載物、端末、感知システム、または上記のものの１または複数と通信を行っている追加の外部デバイスの上に配置され得る。追加的に、図２２は単一のプロセッシングユニット１５０４および単一の非一時的コンピュータ可読媒体１５０６を描写しているが、このことは限定するよう意図されていないこと、およびシステム１５００が複数のプロセッシングユニットおよび／または非一時的コンピュータ可読媒体を含み得ることを当業者は理解されよう。いくつかの実施形態において、複数のプロセッシングユニットおよび／または非一時的コンピュータ可読媒体の１または複数は、システム１５００により実行される処理および／またはメモリ機能の任意の適した態様が、可動物体、支持機構、積載物、端末、感知モジュール、上記のものの１または複数と通信を行っている追加の外部デバイス、またはこれらの適した複数の組み合わせ上など異なる複数の位置の１または複数で起こり得るよう、上記で説明した複数の位置に位置付けられ得る。 The multiple components of system 1500 may be arranged in any suitable configuration. For example, one or more of the components of system 1500 are located on a movable object, support mechanism, load, terminal, sensing system, or additional external device in communication with one or more of the foregoing. obtain. In addition, while FIG. 22 depicts a single processing unit 1504 and a single non-transitory computer readable medium 1506, this is not intended to be limiting and that the system 1500 may have multiple processing. Those skilled in the art will appreciate that a unit and / or non-transitory computer readable medium may be included. In some embodiments, one or more of the plurality of processing units and / or non-transitory computer readable media may be any suitable aspect of processing and / or memory functions performed by the system 1500, As may occur at one or more of different locations, such as on a mechanism, load, terminal, sensing module, additional external device in communication with one or more of the above, or a suitable combination of these, It can be positioned at a plurality of positions described above.

本明細書で用いられているように、Ａおよび／またはＢとは、ＡまたはＢの１または複数、ＡおよびＢなどこれらの複数の組み合わせを包含する。 As used herein, A and / or B includes one or more of A or B, and combinations of these, such as A and B.

本開示の複数の装置、デバイス、システム、およびそれらのコンポーネントのうち何れかの特定の複数の寸法は、本明細書の開示を考慮すれば当業者に明らかとなるように、意図されている用途に応じて容易に変更され得る。さらに、本明細書に説明されている複数の実施形態は、例示のみを目的としており、それらを考慮しての様々な変更または変化が当業者に提案され得、本願の思想および範囲、および添付の複数の請求項の態様に含まれていることが理解される。本明細書に説明されている複数の実施形態の多数の異なる組み合わせが可能であり、そのような組み合わせは、本開示の一部と見なされる。加えて、本明細書における任意の一実施形態との関連で説明される全ての特徴は、本明細書における他の複数の実施形態での使用に容易に適合させられ得る。 The specific dimensions of any of the apparatus, devices, systems, and components thereof of the present disclosure are intended for use as would be apparent to one of ordinary skill in the art in view of the present disclosure. It can be easily changed according to. Furthermore, the embodiments described herein are for illustrative purposes only, and various modifications or changes in view of them may be suggested to those skilled in the art, and the spirit and scope of the present application and attached It is understood that this is included in the aspects of the following claims. Many different combinations of the embodiments described herein are possible, and such combinations are considered part of this disclosure. In addition, all features described in the context of any one embodiment herein can be readily adapted for use in other embodiments herein.

本願発明の好ましい複数の実施形態が本明細書において示され説明されてきたが、当業者にとっては、そのような複数の実施形態が単なる例示により提供されていることが明らかとなろう。当業者は、本願発明から逸脱することなく多数の変形例、変更例、および置換例が思いつかれよう。本明細書に説明されている本願発明の複数の実施形態の様々な代替例が本願発明を実施するにあたり採用され得ることが理解されるべきである。以下の請求項は本願発明の範囲を規定し、これらの請求項の範囲内の複数の方法および構造、並びにそれらの同等物がそれら請求項によって網羅されることが意図されている。
（項目１）
１または複数のイメージングデバイスを較正するための方法であり、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカを含む較正対象の複数の画像を、上記１または複数のイメージングデバイスのそれぞれから受信するステップと、
上記複数の画像の各画像における上記１または複数の基準マーカと、上記較正対象の上記１または複数の基準マーカとの間の空間的関係を、１または複数のプロセッサの補助を受けて決定するステップと、
上記空間的関係に基づき、および１または複数のプロセッサの補助を受け、上記複数の画像の各画像における複数の特徴の画像座標と、上記較正対象上の対応する複数の特徴に関する複数のグローバル座標との間の対応を定式化するステップと、
上記対応に基づき、および上記１または複数のプロセッサの補助を受け、上記１または複数のイメージングデバイスに関する複数の較正パラメータを決定するステップと
を含み、
上記１または複数の基準マーカはそれぞれ、上記複数の画像の各画像において一意に識別可能であり、
上記複数の画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含む、方法。
（項目２）
上記１または複数のイメージングデバイスは無人航空機により搭載される、項目１に記載の方法。
（項目３）
上記複数の画像の上記各画像は、上記１または複数の基準マーカと、上記較正対象の上記複数の特徴の少なくともサブセットをキャプチャする、項目１に記載の方法。
（項目４）
上記１または複数のイメージングデバイスのそれぞれからの上記複数の画像は、上記較正対象に対して異なる位置および向きで撮像される、項目１に記載の方法。
（項目５）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目１に記載の方法。
（項目６）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目５に記載の方法。
（項目７）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの画像は、上記４つの外側の角の少なくとも１つを除外する、項目５に記載の方法。
（項目８）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目１に記載の方法。
（項目９）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目１に記載の方法。
（項目１０）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目１に記載の方法。
（項目１１）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目１に記載の方法。
（項目１２）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目１１に記載の方法。
（項目１３）
上記１または複数の基準マーカは、上記複数の画像における不規則な多角形の複数の頂点を形成し、上記空間的関係を決定するステップは、上記複数の画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別する、項目１１に記載の方法。
（項目１４）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目１に記載の方法。
（項目１５）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目１に記載の方法。
（項目１６）
上記定式化するステップは、上記第１カメラにより得られた画像および上記第２カメラにより得られた対応する画像の両方に存在する複数の特徴を識別するステップを有する、項目１５に記載の方法。
（項目１７）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目１に記載の方法。
（項目１８）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目１に記載の方法。
（項目１９）
１または複数のイメージングデバイスを較正するためのシステムであって、
繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含む較正対象の複数の画像をキャプチャするようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
上記１または複数の基準マーカはそれぞれ、上記複数の画像の各画像において一意に識別可能であり、
上記複数の画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの画像を含み、
上記１または複数のプロセッサは集合的に、または個々に、
上記１または複数のイメージングデバイスのそれぞれから上記複数の画像を受信し、
上記複数の画像の各画像における上記１または複数の基準マーカと、上記較正対象上の上記１または複数の基準マーカとの間の空間的関係を決定し、
上記１または複数の基準マーカの、予め定められた上記複数のグローバル座標に基づき、上記複数の画像の各画像における複数の特徴の画像座標と、上記較正対象に対応する複数の特徴に関するグローバル座標との間の対応を定式化し、
上記対応に基づき、上記１または複数のイメージングデバイスに関する複数の較正パラメータを決定する、システム。
（項目２０）
上記１または複数のイメージングデバイスは無人航空機により搭載される、項目１９に記載のシステム。
（項目２１）
上記複数の画像の上記各画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャする、項目１９に記載のシステム。
（項目２２）
上記１または複数のイメージングデバイスのそれぞれからの上記複数の画像は、上記較正対象に対して異なる位置および向きで撮像される、項目１９に記載のシステム。
（項目２３）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目１９に記載のシステム。
（項目２４）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目２３に記載のシステム。
（項目２５）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの画像は、上記４つの外側の角の少なくとも１つを除外する、項目２３に記載のシステム。
（項目２６）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目１９に記載のシステム。
（項目２７）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目１９に記載のシステム。
（項目２８）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目１９に記載のシステム。
（項目２９）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目１９に記載のシステム。
（項目３０）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目２９に記載のシステム。
（項目３１）
上記１または複数の基準マーカは、上記複数の画像における不規則な多角形の複数の頂点を形成し、上記空間的関係を決定することは、上記複数の画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別する、項目２９に記載のシステム。
（項目３２）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目１９に記載のシステム。
（項目３３）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目１９に記載のシステム。
（項目３４）
上記定式化することは、上記第１カメラにより得られた上記複数の画像および上記第２カメラにより得られた対応する上記複数の画像に、両方に存在する複数の特徴を識別することを有する、項目３３に記載のシステム。
（項目３５）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目１９に記載のシステム。
（項目３６）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目１９に記載のシステム。
（項目３７）
１または複数のイメージングデバイスを用いて複数の深度マップを生成するための方法であって、
上記１または複数のイメージングデバイスのそれぞれから１または複数の画像を得る段階と、
１または複数のプロセッサの補助を受け、３次元深度マップを生成するよう上記１または複数のイメージングデバイスに関する複数の較正パラメータに基づき上記１または複数のイメージングデバイスのそれぞれからの上記１または複数の画像を処理する段階と
を備え、
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
上記較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
上記１または複数の基準マーカはそれぞれ、上記複数の較正画像の各較正画像内で一意に識別可能であり、
上記複数の較正画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、方法。
（項目３８）
上記１または複数のイメージングデバイスは無人航空機により運ばれる、項目３７に記載の方法。
（項目３９）
上記深度マップは、上記無人航空機からの、１または複数の物体の複数の距離を示す情報を含む、項目３８に記載の方法。
（項目４０）
上記複数の較正画像の上記各較正画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャしている、項目３７に記載の方法。
（項目４１）
上記複数のイメージングデバイスのそれぞれからの上記複数の較正画像は、上記較正対象に対して異なる複数の位置および向きで撮像される、項目３７に記載の方法。
（項目４２）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目３７に記載の方法。
（項目４３）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目４２に記載の方法。
（項目４４）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの較正画像は、上記４つの外側の角の少なくとも１つを除外する、項目４２に記載の方法。
（項目４５）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目３７に記載の方法。
（項目４６）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目３７に記載の方法。
（項目４７）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目３７に記載の方法。
（項目４８）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目３７に記載の方法。
（項目４９）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目４８に記載の方法。
（項目５０）
上記１または複数の基準マーカは、上記複数の較正画像における不規則な多角形の複数の頂点を形成し、上記複数の較正パラメータは、少なくとも、上記複数の較正画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別することにより決定される、項目４８に記載の方法。
（項目５１）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目３７に記載の方法。
（項目５２）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目３７に記載の方法。
（項目５３）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像および上記第２カメラによりキャプチャされた対応する画像の両方に存在する１または複数の特徴を識別する段階を有する、項目５２に記載の方法。
（項目５４）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像と、上記第２カメラによりキャプチャされた対応する画像との間の視差を決定する段階を有する、項目５２に記載の方法。
（項目５５）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目３７に記載の方法。
（項目５６）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目３７に記載の方法。
（項目５７）
上記１または複数の画像を処理する段階は、上記１または複数の画像の少なくとも１つにおける光学的歪みを低減する段階を有する、項目３７に記載の方法。
（項目５８）
１または複数のイメージングデバイスを用いて複数の深度マップを生成するためのシステムであって、
複数の画像を得るようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
上記１または複数のプロセッサは集合的に、または個々に、
上記１または複数のイメージングデバイスのそれぞれから１または複数の画像を得、
３次元深度マップを生成するよう上記１または複数のイメージングデバイスに関する複数の較正パラメータに基づき上記１または複数のイメージングデバイスのそれぞれからの上記１または複数の画像を処理するよう構成され、
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
上記較正対象は、繰り返しパターンで配置された複数の特徴と１または複数の基準マーカとを含み、
上記１または複数の基準マーカはそれぞれ、上記複数の較正画像の各較正画像内で一意に識別可能であり、
上記複数の較正画像は、上記複数の特徴全てのうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、システム。
（項目５９）
上記１または複数のイメージングデバイスは無人航空機により運ばれる、項目５８に記載のシステム。
（項目６０）
上記深度マップは、上記無人航空機からの、１または複数の物体の複数の距離を示す情報を含む、項目５９に記載のシステム。
（項目６１）
上記複数の較正画像の上記各較正画像は、上記１または複数の基準マーカと、上記較正対象上の上記複数の特徴の少なくともサブセットとをキャプチャしている、項目５８に記載のシステム。
（項目６２）
上記複数のイメージングデバイスのそれぞれからの上記複数の較正画像は、上記較正対象に対して異なる複数の位置および向きで撮像される、項目５８に記載のシステム。
（項目６３）
上記較正対象は、複数の正方形を含むチェッカー盤であり、上記複数の特徴は上記複数の正方形の複数の角点を含む、項目５８に記載のシステム。
（項目６４）
上記１または複数の基準マーカはそれぞれ、上記複数の正方形の１つの中に位置付けられる、項目６３に記載のシステム。
（項目６５）
上記複数の特徴は、上記チェッカー盤の４つの外側の角を含み、上記少なくとも１つの較正画像は、上記４つの外側の角の少なくとも１つを除外する、項目６３に記載のシステム。
（項目６６）
上記１または複数の基準マーカは少なくとも３つの基準マーカを含む、項目５８に記載のシステム。
（項目６７）
上記１または複数の基準マーカは、複数の円形のドット、三角形、または四辺形を含む、項目５８に記載のシステム。
（項目６８）
上記１または複数の基準マーカは、上記繰り返しパターンに重ねられる、項目５８に記載のシステム。
（項目６９）
上記１または複数の基準マーカは、上記較正対象上の不規則な多角形の複数の頂点を形成する、項目５８に記載のシステム。
（項目７０）
上記１または複数の基準マーカは、二等辺または不等辺三角形の複数の頂点を形成する３つの基準マーカを含む、項目６９に記載のシステム。
（項目７１）
上記１または複数の基準マーカは、上記複数の較正画像における不規則な多角形の複数の頂点を形成し、上記複数の較正パラメータは、少なくとも、上記複数の較正画像における上記不規則な多角形の上記複数の頂点と、上記較正対象上の上記不規則な多角形の上記複数の頂点との間の対応を識別することにより決定される、項目６９に記載のシステム。
（項目７２）
上記複数の特徴は、平面上で上記繰り返しパターンに配置され、上記１または複数の基準マーカは、上記平面内で非回転対称である形状を形成する、項目５８に記載のシステム。
（項目７３）
上記１または複数のイメージングデバイスは、実質的に同時に複数の画像をキャプチャする第１カメラおよび第２カメラを含む、項目５８に記載のシステム。
（項目７４）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像および上記第２カメラによりキャプチャされた対応する画像の両方に存在する１または複数の特徴を識別することを有する、項目７３に記載のシステム。
（項目７５）
上記１または複数の画像を処理する段階は、上記第１カメラによりキャプチャされた画像と、上記第２カメラによりキャプチャされた対応する画像との間の視差を決定することを有する、項目７３に記載のシステム。
（項目７６）
上記複数の較正パラメータは、上記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、項目５８に記載のシステム。
（項目７７）
上記複数の較正パラメータは、上記較正対象に対する上記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、項目５８に記載のシステム。
（項目７８）
上記１または複数の画像を処理する段階は、上記１または複数の画像の少なくとも１つにおける光学的歪みを低減することを有する、項目５８に記載のシステム。 While preferred embodiments of the present invention have been shown and described herein, it will be apparent to those skilled in the art that such embodiments are provided by way of example only. Those skilled in the art will envision many variations, modifications, and substitutions without departing from the invention. It should be understood that various alternatives to the embodiments of the present invention described herein may be employed in practicing the present invention. The following claims define the scope of the invention, and it is intended that the claims cover the methods and structures within the scope of these claims, and their equivalents.
(Item 1)
A method for calibrating one or more imaging devices,
Receiving, from each of the one or more imaging devices, a plurality of images to be calibrated comprising a plurality of features arranged in a repeating pattern and one or more reference markers;
Determining a spatial relationship between the one or more reference markers in each of the plurality of images and the one or more reference markers to be calibrated with the assistance of one or more processors. When,
Based on the spatial relationship and with the assistance of one or more processors, image coordinates of a plurality of features in each image of the plurality of images, and a plurality of global coordinates for a plurality of corresponding features on the calibration object Formulating the correspondence between
Determining a plurality of calibration parameters for the one or more imaging devices based on the correspondence and with the assistance of the one or more processors;
Each of the one or more reference markers is uniquely identifiable in each of the plurality of images,
The method wherein the plurality of images includes at least one image that captures only some of all of the plurality of features.
(Item 2)
The method of item 1, wherein the one or more imaging devices are mounted by an unmanned aerial vehicle.
(Item 3)
2. The method of item 1, wherein each of the plurality of images captures the one or more reference markers and at least a subset of the plurality of features to be calibrated.
(Item 4)
The method of item 1, wherein the plurality of images from each of the one or more imaging devices are imaged at different positions and orientations relative to the calibration object.
(Item 5)
2. The method according to item 1, wherein the calibration target is a checkerboard including a plurality of squares, and the plurality of features include a plurality of corner points of the plurality of squares.
(Item 6)
6. The method of item 5, wherein each of the one or more reference markers is positioned in one of the plurality of squares.
(Item 7)
6. The method of item 5, wherein the plurality of features includes four outer corners of the checkerboard and the at least one image excludes at least one of the four outer corners.
(Item 8)
The method of item 1, wherein the one or more reference markers comprises at least three reference markers.
(Item 9)
The method of item 1, wherein the one or more reference markers comprises a plurality of circular dots, triangles, or quadrilaterals.
(Item 10)
The method of item 1, wherein the one or more reference markers are overlaid on the repeating pattern.
(Item 11)
The method of item 1, wherein the one or more reference markers form a plurality of vertices of an irregular polygon on the calibration object.
(Item 12)
12. The method according to item 11, wherein the one or more reference markers include three reference markers that form a plurality of vertices of an isosceles or unequal triangle.
(Item 13)
The one or more reference markers form a plurality of vertices of an irregular polygon in the plurality of images, and the step of determining the spatial relationship includes the step of determining the spatial polygon in the plurality of images. 12. The method of item 11, wherein a correspondence between a plurality of vertices and the plurality of vertices of the irregular polygon on the calibration object is identified.
(Item 14)
The method of item 1, wherein the plurality of features are arranged in a repeating pattern on a plane, and the one or more reference markers form a shape that is non-rotationally symmetric in the plane.
(Item 15)
The method of item 1, wherein the one or more imaging devices include a first camera and a second camera that capture a plurality of images substantially simultaneously.
(Item 16)
16. The method of item 15, wherein the formulating step comprises identifying a plurality of features present in both an image obtained by the first camera and a corresponding image obtained by the second camera.
(Item 17)
2. The method of item 1, wherein the plurality of calibration parameters include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices.
(Item 18)
The method of item 1, wherein the plurality of calibration parameters includes a position and orientation of each of the one or more imaging devices relative to the calibration object.
(Item 19)
A system for calibrating one or more imaging devices comprising:
One or more imaging devices each configured to capture a plurality of images to be calibrated including a plurality of features arranged in a repeating pattern and one or more reference markers;
With one or more processors,
Each of the one or more reference markers is uniquely identifiable in each of the plurality of images,
The plurality of images includes at least one image capturing only a part of all of the plurality of features,
The one or more processors may be collectively or individually,
Receiving the plurality of images from each of the one or more imaging devices;
Determining a spatial relationship between the one or more reference markers in each of the plurality of images and the one or more reference markers on the calibration object;
Based on the plurality of predetermined global coordinates of the one or more reference markers, image coordinates of a plurality of features in each image of the plurality of images, and global coordinates regarding a plurality of features corresponding to the calibration target, Formulate the correspondence between
A system that determines a plurality of calibration parameters for the one or more imaging devices based on the correspondence.
(Item 20)
20. A system according to item 19, wherein the one or more imaging devices are mounted by an unmanned aerial vehicle.
(Item 21)
20. The system of item 19, wherein each image of the plurality of images captures the one or more reference markers and at least a subset of the plurality of features on the calibration object.
(Item 22)
20. The system of item 19, wherein the plurality of images from each of the one or more imaging devices are imaged at different positions and orientations relative to the calibration object.
(Item 23)
Item 20. The system according to Item 19, wherein the calibration object is a checkerboard including a plurality of squares, and the plurality of features include a plurality of corner points of the plurality of squares.
(Item 24)
24. The system of item 23, wherein the one or more fiducial markers are each positioned within one of the plurality of squares.
(Item 25)
24. The system of item 23, wherein the plurality of features includes four outer corners of the checkerboard, and the at least one image excludes at least one of the four outer corners.
(Item 26)
20. The system of item 19, wherein the one or more reference markers includes at least three reference markers.
(Item 27)
20. The system of item 19, wherein the one or more fiducial markers comprise a plurality of circular dots, triangles, or quadrilaterals.
(Item 28)
20. The system of item 19, wherein the one or more reference markers are overlaid on the repeating pattern.
(Item 29)
20. The system of item 19, wherein the one or more reference markers form a plurality of irregular polygon vertices on the calibration object.
(Item 30)
30. The system of item 29, wherein the one or more fiducial markers include three fiducial markers that form a plurality of vertices of an isosceles or unequal triangle.
(Item 31)
The one or more reference markers form a plurality of vertices of an irregular polygon in the plurality of images, and determining the spatial relationship is a function of the irregular polygon in the plurality of images. 30. The system of item 29, wherein a correspondence between a plurality of vertices and the plurality of vertices of the irregular polygon on the calibration object is identified.
(Item 32)
20. The system of item 19, wherein the plurality of features are arranged in a repeating pattern on a plane, and the one or more reference markers form a shape that is non-rotationally symmetric in the plane.
(Item 33)
20. The system of item 19, wherein the one or more imaging devices include a first camera and a second camera that capture multiple images at substantially the same time.
(Item 34)
The formulation comprises identifying a plurality of features present in both the plurality of images obtained by the first camera and the corresponding plurality of images obtained by the second camera; 34. The system according to item 33.
(Item 35)
20. The system of item 19, wherein the plurality of calibration parameters include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices.
(Item 36)
20. The system of item 19, wherein the plurality of calibration parameters includes a respective position and orientation of the one or more imaging devices relative to the calibration object.
(Item 37)
A method for generating a plurality of depth maps using one or more imaging devices, comprising:
Obtaining one or more images from each of the one or more imaging devices;
With the assistance of one or more processors, the one or more images from each of the one or more imaging devices based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map A processing stage, and
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices,
The calibration object includes a plurality of features arranged in a repeating pattern and one or more reference markers,
Each of the one or more reference markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The method wherein the plurality of calibration images includes at least one calibration image that captures only a portion of all of the plurality of features.
(Item 38)
38. The method of item 37, wherein the one or more imaging devices are carried by an unmanned aerial vehicle.
(Item 39)
40. The method of item 38, wherein the depth map includes information indicating a plurality of distances of one or more objects from the unmanned aerial vehicle.
(Item 40)
38. The method of item 37, wherein each calibration image of the plurality of calibration images captures the one or more reference markers and at least a subset of the plurality of features on the calibration object.
(Item 41)
40. The method of item 37, wherein the plurality of calibration images from each of the plurality of imaging devices are imaged at a plurality of different positions and orientations relative to the calibration object.
(Item 42)
38. A method according to item 37, wherein the calibration object is a checkerboard including a plurality of squares, and the plurality of features include a plurality of corner points of the plurality of squares.
(Item 43)
43. The method of item 42, wherein each of the one or more reference markers is positioned within one of the plurality of squares.
(Item 44)
43. The method of item 42, wherein the plurality of features includes four outer corners of the checkerboard, and the at least one calibration image excludes at least one of the four outer corners.
(Item 45)
38. The method of item 37, wherein the one or more reference markers includes at least three reference markers.
(Item 46)
38. The method of item 37, wherein the one or more reference markers comprise a plurality of circular dots, triangles, or quadrilaterals.
(Item 47)
38. The method of item 37, wherein the one or more reference markers are overlaid on the repeating pattern.
(Item 48)
38. The method of item 37, wherein the one or more reference markers form a plurality of irregular polygonal vertices on the calibration object.
(Item 49)
49. The method of item 48, wherein the one or more fiducial markers include three fiducial markers that form a plurality of vertices of an isosceles or unequal triangle.
(Item 50)
The one or more reference markers form a plurality of vertices of an irregular polygon in the plurality of calibration images, and the plurality of calibration parameters are at least the irregular polygons in the plurality of calibration images. 49. The method of item 48, wherein the method is determined by identifying a correspondence between the plurality of vertices and the plurality of vertices of the irregular polygon on the calibration object.
(Item 51)
38. The method of item 37, wherein the plurality of features are arranged in the repeating pattern on a plane, and the one or more reference markers form a shape that is non-rotationally symmetric in the plane.
(Item 52)
38. The method of item 37, wherein the one or more imaging devices include a first camera and a second camera that capture a plurality of images substantially simultaneously.
(Item 53)
Processing the one or more images comprises identifying one or more features present in both an image captured by the first camera and a corresponding image captured by the second camera; 53. The method according to item 52.
(Item 54)
53. The item 52, wherein processing the one or more images comprises determining parallax between an image captured by the first camera and a corresponding image captured by the second camera. the method of.
(Item 55)
38. The method of item 37, wherein the plurality of calibration parameters include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices.
(Item 56)
38. The method of item 37, wherein the plurality of calibration parameters include a position and orientation of each of the one or more imaging devices relative to the calibration object.
(Item 57)
38. The method of item 37, wherein processing the one or more images comprises reducing optical distortion in at least one of the one or more images.
(Item 58)
A system for generating a plurality of depth maps using one or more imaging devices comprising:
One or more imaging devices each configured to obtain a plurality of images;
With one or more processors,
The one or more processors may be collectively or individually,
Obtaining one or more images from each of the one or more imaging devices;
Configured to process the one or more images from each of the one or more imaging devices based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map;
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices,
The calibration object includes a plurality of features arranged in a repeating pattern and one or more reference markers,
Each of the one or more reference markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The plurality of calibration images includes at least one calibration image that captures only a portion of all of the plurality of features.
(Item 59)
59. A system according to item 58, wherein the one or more imaging devices are carried by an unmanned aerial vehicle.
(Item 60)
60. The system of item 59, wherein the depth map includes information indicating a plurality of distances of one or more objects from the unmanned aerial vehicle.
(Item 61)
59. The system of item 58, wherein each calibration image of the plurality of calibration images captures the one or more reference markers and at least a subset of the plurality of features on the calibration object.
(Item 62)
59. The system of item 58, wherein the plurality of calibration images from each of the plurality of imaging devices are imaged at different positions and orientations relative to the calibration object.
(Item 63)
59. A system according to item 58, wherein the calibration object is a checkerboard including a plurality of squares, and the plurality of features include a plurality of corner points of the plurality of squares.
(Item 64)
64. The system of item 63, wherein the one or more fiducial markers are each positioned within one of the plurality of squares.
(Item 65)
64. The system of item 63, wherein the plurality of features includes four outer corners of the checkerboard, and the at least one calibration image excludes at least one of the four outer corners.
(Item 66)
59. The system of item 58, wherein the one or more reference markers include at least three reference markers.
(Item 67)
59. The system of item 58, wherein the one or more reference markers include a plurality of circular dots, triangles, or quadrilaterals.
(Item 68)
59. The system of item 58, wherein the one or more reference markers are overlaid on the repeating pattern.
(Item 69)
59. A system according to item 58, wherein the one or more reference markers form a plurality of vertices of an irregular polygon on the calibration object.
(Item 70)
70. A system according to item 69, wherein the one or more reference markers include three reference markers forming a plurality of vertices of an isosceles or unequal triangle.
(Item 71)
The one or more reference markers form a plurality of vertices of an irregular polygon in the plurality of calibration images, and the plurality of calibration parameters are at least the irregular polygon in the plurality of calibration images. 70. The system of item 69, determined by identifying correspondence between the plurality of vertices and the plurality of vertices of the irregular polygon on the calibration object.
(Item 72)
59. The system of item 58, wherein the plurality of features are arranged in the repeating pattern on a plane, and the one or more reference markers form a shape that is non-rotationally symmetric in the plane.
(Item 73)
59. The system of item 58, wherein the one or more imaging devices include a first camera and a second camera that capture a plurality of images substantially simultaneously.
(Item 74)
Processing the one or more images comprises identifying one or more features present in both an image captured by the first camera and a corresponding image captured by the second camera; 74. The system according to item 73.
(Item 75)
74. The step of processing the one or more images comprises determining a parallax between an image captured by the first camera and a corresponding image captured by the second camera. System.
(Item 76)
59. The system of item 58, wherein the plurality of calibration parameters includes at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices.
(Item 77)
59. The system of item 58, wherein the plurality of calibration parameters includes a respective position and orientation of the one or more imaging devices relative to the calibration object.
(Item 78)
59. The system of item 58, wherein processing the one or more images comprises reducing optical distortion in at least one of the one or more images.

Claims

１または複数のイメージングデバイスを用いて複数の深度マップを生成するための方法であって、
前記１または複数のイメージングデバイスのそれぞれから１または複数の画像を取得するステップと、
３次元深度マップを生成するように、前記１または複数のイメージングデバイスに関する複数の較正パラメータに基づいて、前記１または複数の画像を処理するステップと
を含み、
前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
前記較正対象は、繰り返しパターンで配置された複数の特徴と複数の基準マーカとを含み、
前記複数の基準マーカはそれぞれ、前記複数の較正画像の各較正画像内で一意に識別可能であり、
前記複数の基準マーカは、前記較正対象上の単一の多角形の複数の頂点を形成し、
前記単一の多角形の縁の全てが互いに異なる長さを有する、または、前記単一の多角形の前記複数の頂点の角度の全てが互いに異なり、
前記複数の較正画像は、前記複数の特徴のうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、方法。 A method for generating a plurality of depth maps using one or more imaging devices, comprising:
Obtaining one or more images from each of the one or more imaging devices;
Processing the one or more images based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map;
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices;
The calibration object includes a plurality of features and a plurality of reference markers arranged in a repeating pattern,
Each of the plurality of fiducial markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The plurality of reference markers form a plurality of vertices of a single polygon on the calibration object;
All of the edges of the single polygon have different lengths, or all of the angles of the plurality of vertices of the single polygon are different from each other;
The method wherein the plurality of calibration images includes at least one calibration image that captures only some of the plurality of features.

前記１または複数のイメージングデバイスは無人航空機に搭載される、請求項１に記載の方法。 The method of claim 1, wherein the one or more imaging devices are mounted on an unmanned aerial vehicle.

前記３次元深度マップは、前記無人航空機からの、１または複数の物体の距離を示す情報を含む、請求項２に記載の方法。 The method of claim 2, wherein the three-dimensional depth map includes information indicating a distance of one or more objects from the unmanned aerial vehicle.

前記各較正画像は、前記複数の基準マーカと、前記較正対象上の前記複数の特徴の少なくともサブセットとをキャプチャしている、請求項１から３のいずれか一項に記載の方法。 4. The method according to claim 1, wherein each calibration image captures the plurality of reference markers and at least a subset of the plurality of features on the calibration object.

前記複数の較正画像は、前記較正対象に対して異なる位置および向きで撮像される、請求項１から４のいずれか一項に記載の方法。 The method according to claim 1, wherein the plurality of calibration images are imaged at different positions and orientations relative to the calibration object.

前記繰り返しパターンは、複数の行および複数の列を有する格子パターンであり、 The repeating pattern is a lattice pattern having a plurality of rows and a plurality of columns,
前記複数の基準マーカは、前記格子パターンにおける互いに異なる行及び列に位置決めされる、請求項１から５のいずれか一項に記載の方法。 The method according to claim 1, wherein the plurality of reference markers are positioned in different rows and columns in the grid pattern.

前記較正対象は、複数の正方形を含むチェッカー盤であり、前記複数の特徴は前記複数の正方形の複数の角点を含む、請求項１から６のいずれか一項に記載の方法。 The calibration object is a checkerboard including a plurality of square, the plurality of features includes a plurality of corner points of the plurality of square method according to any one of claims 1 to 6.

前記複数の基準マーカはそれぞれ、前記複数の正方形の１つの中に位置付けられる、請求項７に記載の方法。 The method of claim 7 , wherein each of the plurality of fiducial markers is positioned within one of the plurality of squares.

前記複数の特徴は、前記チェッカー盤の４つの外側の角を含み、前記少なくとも１つの較正画像は、前記４つの外側の角の少なくとも１つを除外する、請求項７または８に記載の方法。 9. The method of claim 7 or 8 , wherein the plurality of features includes four outer corners of the checkerboard and the at least one calibration image excludes at least one of the four outer corners.

前記複数の基準マーカは少なくとも３つの基準マーカを含む、請求項１から９のいずれか一項に記載の方法。 Wherein the plurality of reference markers comprises at least three reference markers, the method according to any one of claims 1 to 9.

前記複数の特徴は、平面上で前記繰り返しパターンに配置され、前記複数の基準マーカは、前記平面内で非回転対称である形状を形成する、請求項１から１０のいずれか一項に記載の方法。 The plurality of features are arranged in the repetitive pattern on a plane, and the plurality of reference markers form a shape that is non-rotationally symmetric in the plane. Method.

（ｉ）前記複数の基準マーカは、前記繰り返しパターンに重ねられる、
（ｉｉ）前記複数の基準マーカは、前記較正対象上の単一の不等辺三角形の複数の頂点を形成する、または
（ｉｉｉ）前記複数の較正パラメータは、少なくとも、前記複数の較正画像における前記単一の多角形の前記複数の頂点と、前記較正対象上の前記単一の多角形の前記複数の頂点との間の対応を識別することにより決定される、請求項１から１１のいずれか一項に記載の方法。 (I) The plurality of reference markers are overlaid on the repetitive pattern.
(Ii) the plurality of fiducial markers, single forming a plurality of vertices of scalene triangle, or (iii) said plurality of calibration parameters on the calibration object, at least, the in the plurality of calibration images single and the polygon of the plurality of vertices one, is determined by identifying the correspondence between said single plurality of vertices of the polygon on the calibration target, any one of claims 1 to 11 one The method according to item.

前記１または複数のイメージングデバイスは、同時に複数の画像を取得する第１カメラおよび第２カメラを含む、請求項１から１２のいずれか一項に記載の方法。 13. The method according to any one of claims 1 to 12 , wherein the one or more imaging devices include a first camera and a second camera that acquire a plurality of images simultaneously.

前記１または複数の画像を処理するステップは、前記第１カメラにより取得した画像および前記第２カメラにより取得した対応する画像における１または複数の特徴を識別するステップを有する、請求項１３に記載の方法。 Processing the one or more images comprises a step of identifying one or more features in the image corresponding acquired by the first acquired image and the second camera by the camera, according to claim 13 Method.

前記１または複数の画像を処理するステップは、前記第１カメラにより取得した画像と、前記第２カメラにより取得した対応する画像との間の視差を決定するステップを有する、請求項１３または１４に記載の方法。 Processing the one or more images comprises the step of determining the image acquired by the first camera, the parallax between the corresponding image obtained by the second camera, to claim 13 or 14 The method described.

前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、請求項１から１５のいずれか一項に記載の方法。 16. The plurality of calibration parameters according to any one of claims 1 to 15 , wherein the plurality of calibration parameters include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices. The method described.

前記複数の較正パラメータは、前記較正対象に対する前記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、請求項１から１６のいずれか一項に記載の方法。 Wherein the plurality of calibration parameters, including the positions and orientations of the one or more imaging devices relative to the calibration object, the method according to any one of claims 1 to 16.

前記１または複数の画像を処理するステップは、前記１または複数の画像の少なくとも１つにおける光学的歪みを低減するステップを有する、請求項１から１７のいずれか一項に記載の方法。 The method of any one of claims 1 to 17 , wherein processing the one or more images comprises reducing optical distortion in at least one of the one or more images.

１または複数のイメージングデバイスを用いて複数の深度マップを生成するための装置であって、
複数の画像を得るようそれぞれが構成された１または複数のイメージングデバイスと、
１または複数のプロセッサと
を備え、
前記１または複数のプロセッサは、
前記１または複数のイメージングデバイスのそれぞれから１または複数の画像を取得し、
３次元深度マップを生成するように前記１または複数のイメージングデバイスに関する複数の較正パラメータに基づいて、前記１または複数の画像を処理し、
前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれからの較正対象の複数の較正画像を用いて決定され、
前記較正対象は、繰り返しパターンで配置された複数の特徴と複数の基準マーカとを含み、
前記複数の基準マーカはそれぞれ、前記複数の較正画像の各較正画像内で一意に識別可能であり、
前記複数の基準マーカは、前記較正対象上の単一の多角形の複数の頂点を形成し、
前記単一の多角形の縁の全てが互いに異なる長さを有する、または、前記単一の多角形の前記複数の頂点の角度の全てが互いに異なり、
前記複数の較正画像は、前記複数の特徴のうちの一部しかキャプチャしていない少なくとも１つの較正画像を含む、装置。 An apparatus for generating a plurality of depth maps using one or more imaging devices,
One or more imaging devices each configured to obtain a plurality of images;
With one or more processors,
The one or more processors are:
Acquiring one or more images from each of the one or more imaging devices;
Processing the one or more images based on a plurality of calibration parameters for the one or more imaging devices to generate a three-dimensional depth map;
The plurality of calibration parameters are determined using a plurality of calibration images to be calibrated from each of the one or more imaging devices;
The calibration object includes a plurality of features and a plurality of reference markers arranged in a repeating pattern,
Each of the plurality of fiducial markers is uniquely identifiable within each calibration image of the plurality of calibration images;
The plurality of reference markers form a plurality of vertices of a single polygon on the calibration object;
All of the edges of the single polygon have different lengths, or all of the angles of the plurality of vertices of the single polygon are different from each other;
The apparatus, wherein the plurality of calibration images includes at least one calibration image that captures only some of the plurality of features.

前記１または複数のイメージングデバイスは無人航空機に搭載される、請求項１９に記載の装置。 The apparatus of claim 19 , wherein the one or more imaging devices are mounted on an unmanned aerial vehicle.

前記３次元深度マップは、前記無人航空機からの、１または複数の物体の距離を示す情報を含む、請求項２０に記載の装置。 21. The apparatus of claim 20, wherein the three-dimensional depth map includes information indicating a distance of one or more objects from the unmanned aerial vehicle.

前記各較正画像は、前記複数の基準マーカと、前記較正対象上の前記複数の特徴の少なくともサブセットとをキャプチャしている、請求項１９から２１のいずれか一項に記載の装置。 22. The apparatus according to any one of claims 19 to 21 , wherein each calibration image captures the plurality of reference markers and at least a subset of the plurality of features on the calibration object.

前記複数の較正画像は、前記較正対象に対して異なる位置および向きで撮像される、請求項１９から２２のいずれか一項に記載の装置。 23. The apparatus according to any one of claims 19 to 22 , wherein the plurality of calibration images are imaged at different positions and orientations relative to the calibration object.

前記繰り返しパターンは、複数の行および複数の列を有する格子パターンであり、 The repeating pattern is a lattice pattern having a plurality of rows and a plurality of columns,
前記複数の基準マーカは、前記格子パターンにおける互いに異なる行及び列に位置決めされる、請求項１９から２３のいずれか一項に記載の装置。 24. The apparatus according to any one of claims 19 to 23, wherein the plurality of reference markers are positioned in different rows and columns in the grid pattern.

前記較正対象は、複数の正方形を含むチェッカー盤であり、前記複数の特徴は前記複数の正方形の複数の角点を含む、請求項１９から２４のいずれか一項に記載の装置。 The apparatus according to any one of claims 19 to 24 , wherein the calibration object is a checkerboard including a plurality of squares, and the plurality of features include a plurality of corner points of the plurality of squares.

前記複数の基準マーカはそれぞれ、前記複数の正方形の１つの中に位置付けられる、請求項２５に記載の装置。 26. The apparatus of claim 25, wherein each of the plurality of reference markers is positioned within one of the plurality of squares.

前記複数の特徴は、前記チェッカー盤の４つの外側の角を含み、前記少なくとも１つの較正画像は、前記４つの外側の角の少なくとも１つを除外する、請求項２５または２６に記載の装置。 27. The apparatus of claim 25 or 26 , wherein the plurality of features include four outer corners of the checkerboard and the at least one calibration image excludes at least one of the four outer corners.

前記複数の基準マーカは少なくとも３つの基準マーカを含む、請求項１９から２７のいずれか一項に記載の装置。 28. The apparatus according to any one of claims 19 to 27 , wherein the plurality of fiducial markers includes at least three fiducial markers.

前記複数の特徴は、平面上で前記繰り返しパターンに配置され、前記複数の基準マーカは、前記平面内で非回転対称である形状を形成する、請求項１９から２８のいずれか一項に記載の装置。 The plurality of features are arranged in the repeating pattern on a plane, and the plurality of reference markers form a shape that is non-rotationally symmetric in the plane. apparatus.

（ｉ）前記１または複数の基準マーカは、前記繰り返しパターンに重ねられる、
（ｉｉ）前記複数の基準マーカは、前記較正対象上の不等辺三角形の複数の頂点を形成する、または
（ｉｉｉ）前記複数の較正パラメータは、少なくとも、前記複数の較正画像における前記単一の多角形の前記複数の頂点と、前記較正対象上の前記単一の多角形の前記複数の頂点との間の対応を識別することにより決定される、請求項１９から２９のいずれか一項に記載の装置。 (I) the one or more reference markers are overlaid on the repeating pattern;
(Ii) the plurality of fiducial markers form a plurality of vertices of an unequal triangle on the calibration object; or (iii) the plurality of calibration parameters at least in the single calibration image in the plurality of calibration images. said plurality of vertices of polygon is determined by identifying the correspondence between the single polygon of the plurality of vertices on the calibration target, according to any one of claims 19 to 29 Equipment.

前記１または複数のイメージングデバイスは、同時に複数の画像を取得する第１カメラおよび第２カメラを含む、請求項１９から３０のいずれか一項に記載の装置。 31. The apparatus according to any one of claims 19 to 30 , wherein the one or more imaging devices include a first camera and a second camera that acquire a plurality of images simultaneously.

前記１または複数の画像の前記処理は、前記第１カメラにより取得した画像および前記第２カメラにより取得した対応する画像の両方に存在する１または複数の特徴を識別することを含む、請求項３１に記載の装置。 Said processing of said one or more images includes identifying one or more features present in both of the corresponding image obtained by the first acquired image and the second camera by the camera, according to claim 31 The device described in 1.

前記１または複数の画像の前記処理は、前記第１カメラにより取得した画像と、前記第２カメラにより取得した対応する画像との間の視差を決定することを含む、請求項３１または３２に記載の装置。 33. The process of claim 31 or 32 , wherein the processing of the one or more images includes determining a parallax between an image acquired by the first camera and a corresponding image acquired by the second camera. Equipment.

前記複数の較正パラメータは、前記１または複数のイメージングデバイスのそれぞれに関する焦点距離、主点の位置、画素サイズ、または光学的歪みの少なくとも１つを含む、請求項１９から３３のいずれか一項に記載の装置。 34. The method of any one of claims 19 to 33 , wherein the plurality of calibration parameters include at least one of focal length, principal point location, pixel size, or optical distortion for each of the one or more imaging devices. The device described.

前記複数の較正パラメータは、前記較正対象に対する前記１または複数のイメージングデバイスのそれぞれの位置および向きを含む、請求項１９から３４のいずれか一項に記載の装置。 35. The apparatus according to any one of claims 19 to 34 , wherein the plurality of calibration parameters includes a respective position and orientation of the one or more imaging devices relative to the calibration object.

前記１または複数の画像の前記処理は、前記１または複数の画像の少なくとも１つにおける光学的歪みを低減することを含む、請求項１９から３５のいずれか一項に記載の装置。 36. The apparatus according to any one of claims 19 to 35 , wherein the processing of the one or more images includes reducing optical distortion in at least one of the one or more images.

コンピュータに、請求項１から１８のいずれか一項に記載の方法を実行させるためのプログラム。 A program for causing a computer to execute the method according to any one of claims 1 to 18 .