JP2023062219A - Information processing method, information processing device, and computer program - Google Patents

Abstract

To provide an information processing method an information processing device, and a computer program for avoiding collision with an obstacle.SOLUTION: An information processing method, on the basis of a depth image including a depth value of a first region in a space and a luminance image including a luminance value of a second region a part of which overlaps the first region, estimates a depth value of a third region, which is at least a part of a region not included in the first region in the second region.SELECTED DRAWING: Figure 1

Description

本開示は、情報処理方法、情報処理装置及びコンピュータプログラムに関する。 The present disclosure relates to an information processing method, an information processing apparatus, and a computer program.

ドローンの障害物回避の方法として、下記特許文献１には、ドローンの自律移動時に、センサで検出できない死角領域で障害物に衝突することを防止する技術が開示されている。この技術は、死角領域を避ける経路を選択するため、ドローンが大きく遠回りするなど効率的でない経路が選択される可能性がある。 As an obstacle avoidance method for a drone, Patent Document 1 below discloses a technique for preventing collision with an obstacle in a blind spot area that cannot be detected by a sensor when the drone moves autonomously. Since this technology selects a route that avoids blind spots, there is a possibility that an inefficient route such as a long detour may be selected by the drone.

特開2019-175128号公報JP 2019-175128 A

本開示は、移動体が障害物と衝突することを回避する情報処理方法、情報処理装置及びコンピュータプログラムを提供する。 The present disclosure provides an information processing method, an information processing device, and a computer program for avoiding a collision of a moving object with an obstacle.

本開示の情報処理方法は、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する。 In the information processing method of the present disclosure, based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region estimates the depth value of a third region that is at least part of the region not included in the first region.

前記情報処理方法は、
デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得してもよい。 The information processing method includes:
Acquiring a depth image of the first region from a first sensor device that measures depth values;
A luminance image of the second region may be obtained from a second sensor device that measures luminance values.

前記情報処理方法は、
前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域としてもよい。 The information processing method includes:
transforming the depth image from the coordinate system of the first sensor device to the coordinate system of the second sensor device;
The depth image after the conversion may be aligned and superimposed on the luminance image, and at least a part of a region of the luminance image that does not overlap the depth image may be the third region.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定してもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
identifying a segment including a first portion that overlaps with the depth image and a second portion that does not overlap with the depth image; and based on the depth value of the first portion of the identified segment, the identified segment A depth value for the second portion may be estimated.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定してもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
A depth value of a portion of at least one of the segments that overlaps with the depth image is specified, a three-dimensional plane including a position represented by the specified depth value is estimated, and the depth of the segment is determined based on the estimated three-dimensional plane. You may estimate the depth value of the part which does not overlap with an image.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる部分を有さない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる部分を有する第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
A depth value of at least a portion of a first segment that does not overlap the depth image is estimated based on a depth value of a portion of a second segment that overlaps the depth image and is in contact with the first segment.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定してもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
A depth value of a predetermined type of segment among the plurality of segments may be set to a predetermined value.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明としてもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
A depth value of a segment included in a predetermined type of segment among the plurality of segments may be unknown.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、
前記第１セグメントのサイズと、
前記デプス画像と重ならない前記第２セグメントのサイズと、
前記第１セグメントが表す対象のサイズと、
前記第２セグメントが表す対象のサイズと
に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定してもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
a depth value of a portion of a first segment that overlaps with the depth image and that overlaps with the depth image;
a size of the first segment;
a size of the second segment that does not overlap the depth image;
a size of the object represented by the first segment;
A depth value of at least a portion of the second segment may be estimated based on the size of the object represented by the second segment.

前記情報処理方法は、
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定してもよい。 The information processing method includes:
dividing the luminance image of the second region into a plurality of segments;
At least one of third segments that do not overlap with the depth image, based on a distance to a first object represented by a first segment that overlaps with the depth image and a distance to a second object represented by a second segment that overlaps with the depth image. The depth value of the part may be estimated.

前記情報処理方法は、前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御してもよい。 The information processing method may control a moving body moving in the space based on the depth value of the third area.

前記情報処理方法は、前記第２センサ装置の撮像方向を制御し、前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける。 The information processing method controls the imaging direction of the second sensor device, and orients the imaging direction of the second sensor device in the movement direction of the moving body.

前記情報処理方法は、複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いて輝度値を測定する。 The information processing method selects a second sensor device that is not being used for other purposes from among the plurality of second sensor devices, and measures a luminance value using the selected second sensor device.

前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なってもよい。 The detection range of the first sensor device may partially overlap with the detection range of the second sensor device.

前記第３領域は、前記移動体の死角領域でもよい。 The third area may be a blind spot area of the moving object.

前記移動体は、飛行体、自動車又はロボットでもよい。 The mobile object may be an aircraft, an automobile, or a robot.

本開示の情報処理装置は、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部を備える。 The information processing device of the present disclosure, based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region and a depth estimating unit that estimates a depth value of a third region that is at least part of a region not included in the first region.

本開示のコンピュータプログラムは、空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップをコンピュータに実行させる。 A computer program according to the present disclosure, based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, The computer is caused to execute a step of estimating a depth value of a third area, which is at least part of the area not included in the first area.

本開示の実施形態に係る通信システムのブロック図。1 is a block diagram of a communication system according to an embodiment of the present disclosure; FIG. ドローンのブロック図。A block diagram of a drone. 基地局のブロック図。Block diagram of a base station. ドローンの死角領域を説明するための平面図。The top view for demonstrating the blind spot area|region of a drone. ステレオカメラを用いてデプスを測定するイメージ図。Image diagram of depth measurement using a stereo camera. 死角領域における障害物の検出を必要とする場合の例１を説明する図。FIG. 10 is a diagram for explaining Example 1 when it is necessary to detect an obstacle in a blind spot area; 死角領域における障害物の検出を必要とする場合の例２を説明する図。FIG. 10 is a diagram for explaining Example 2 in which detection of an obstacle in a blind spot area is required; 本実施形態でデプス値を推定する死角領域を説明する図。The figure explaining the blind spot area|region which estimates a depth value in this embodiment. 死角領域のデプス値を推定し、障害物の検出を行う処理に関わるブロック図。FIG. 4 is a block diagram related to processing for estimating a depth value of a blind spot area and detecting an obstacle; セグメンテーション画像の例を示す図。FIG. 4 is a diagram showing an example of a segmentation image; セグメンテーション画像にデプスマップを重ねた例を示す図。The figure which shows the example which superimposed the depth map on the segmentation image. 第１の推定例を説明するための図。The figure for demonstrating the 1st estimation example. 第３の推定例の具体例を示す図。The figure which shows the specific example of the 3rd estimation example. 空中で飛んでいる鳥を含むセグメンテーション画像の例を示す図。A diagram showing an example of a segmentation image containing birds flying in the air. 第５の推定例を説明するための図。The figure for demonstrating the 5th estimation example. 平均値を算出する手順の一例を示す。An example of a procedure for calculating an average value is shown. ある電柱の太さと、別の電柱までの距離を算出する例を示す図。The figure which shows the example which calculates the thickness of a certain utility pole, and the distance to another utility pole. 電線オブジェクトにおける任意の箇所のデプス値を推定する例を示す図。FIG. 5 is a diagram showing an example of estimating a depth value at an arbitrary location in an electric wire object; 本実施形態に係る制御部における動作の一例を示すフローチャート。4 is a flow chart showing an example of the operation of the control unit according to the embodiment; 図１９Ａに続くフローチャート。Flowchart following FIG. 19A. ドローン又は基地局のハードウェア構成の一例を示す図。The figure which shows an example of the hardware constitutions of a drone or a base station.

以下、図面を参照して、本開示の実施形態について説明する。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。 Embodiments of the present disclosure will be described below with reference to the drawings. In one or more of the embodiments presented in this disclosure, the elements included in each embodiment may be combined with each other and the combined result also forms part of the embodiments presented in this disclosure.

図１は、本開示の実施形態に係る通信システムのブロック図である。図１の通信システムは、複数の移動体１０１Ａ、１０１Ｂ、１０１Ｃと、基地局２０１とを備えている。本実施形態の移動体はドローン（無人航空機）であり、移動体１０１Ａ～１０１Ｃをドローン１０１Ａ～１０１Ｃと表記する。ドローンは移動体の一例であり、移動体は、ロボット無人搬送車、又は自動運転車など、自律又はマニュアル操作により移動可能な装置であれば、何でもよい。図では３台のドローンが示されるが、ドローンの台数は１台でも、２台でも、４台以上でもよい。ドローン１０１Ａ、ドローン１０１Ｂ及びドローン１０１Ｃはそれぞれ基地局２０１と双方向に通信可能である。ドローン１０１Ａ～１０１Ｃが互いに通信可能であってもよい。以下、任意の１台のドローンを、ドローン１０１と表記する。 FIG. 1 is a block diagram of a communication system according to an embodiment of the disclosure. The communication system of FIG. 1 comprises a plurality of mobile units 101A, 101B, 101C and a base station 201. The moving bodies of this embodiment are drones (unmanned aerial vehicles), and the moving bodies 101A to 101C are referred to as drones 101A to 101C. A drone is an example of a mobile object, and the mobile object may be any device that can move autonomously or manually, such as a robot unmanned guided vehicle or an automatic driving vehicle. Although three drones are shown in the figure, the number of drones may be one, two, or four or more. Each of the drones 101A, 101B, and 101C can bi-directionally communicate with the base station 201 . Drones 101A-101C may be able to communicate with each other. An arbitrary drone is hereinafter referred to as a drone 101 .

ドローン１０１は、複数のロータを駆動することにより飛行可能な移動体である。ドローン１０１は、基地局２０１と無線通信し、基地局２０１の制御の下、経路に沿って飛行を行う。ドローン１０１は出発地と目的地とから自ら経路を生成して飛行してもよいし（自律飛行）、基地局２０１から経路を指定され、指定された経路を飛行してもよい。あるいは、ドローン１０１が、ユーザにより操作されるリモコンにより操作可能である場合、ユーザから指定された経路を飛行してもよい（マニュアル飛行）。 The drone 101 is a mobile body that can fly by driving a plurality of rotors. The drone 101 wirelessly communicates with the base station 201 and flies along a route under the control of the base station 201 . The drone 101 may fly by generating its own route from the departure point and the destination (autonomous flight), or may be designated by the base station 201 and fly along the designated route. Alternatively, if the drone 101 can be operated by a user-operated remote control, it may fly along a route specified by the user (manual flight).

図２は、ドローン１０１のブロック図である。ドローン１０１は、情報処理装置１と、ロータ２１Ａ～２１Ｄ、及びモータ２２Ａ～２２Ｄを備えている。情報処理装置１は、アンテナ１０、デプスセンサ（第１センサ装置）１１、カメラ（第２センサ装置）１２、制御部１３、通信部１４、センサ部１６、位置検出部１７、バッテリ１８、及び記憶部１９を備えている。 FIG. 2 is a block diagram of the drone 101. As shown in FIG. The drone 101 includes an information processing device 1, rotors 21A to 21D, and motors 22A to 22D. The information processing device 1 includes an antenna 10, a depth sensor (first sensor device) 11, a camera (second sensor device) 12, a control unit 13, a communication unit 14, a sensor unit 16, a position detection unit 17, a battery 18, and a storage unit. 19.

デプスセンサ（第１センサ装置）１１は、ドローン１０１が飛行する空間において検出範囲（撮像範囲）をセンシングし、デプス値を含む画像（以下、デプス画像）を取得する。デプスセンサ１１によりセンシングする領域はドローン１０１が飛行する空間の第１領域に相当する。デプス画像はデプス値を有する複数の画素を含むデータである。デプスセンサ１１は、取得したデプス画像を取得時刻に関連づけて記憶部１９に格納する。デプスセンサ１１は、取得したデプス画像を、制御部１３に提供してもよい。デプスセンサ１１は、デプス値を取得可能なデバイスなら何でもよい。一例として、デプスセンサ１１は、ステレオカメラ、レーダ、ＴＯＦ（Time Of Flight）カメラ又はＬｉＤＡＲ（Light Detection and Ranging）等である。デプスセンサ１１の位置及び姿勢は固定でもよいし、デプスセンサ１１の位置を移動及び姿勢を変更可能であってもよい。デプスセンサ１１の台数は１つでも、複数でもよい。デプスセンサ１１がセンシングした領域（第１領域）以外の領域はドローン１０１にとっての死角領域に相当する。 A depth sensor (first sensor device) 11 senses a detection range (imaging range) in the space in which the drone 101 flies, and acquires an image including depth values (hereinafter referred to as a depth image). A region sensed by the depth sensor 11 corresponds to a first region of space in which the drone 101 flies. A depth image is data that includes a plurality of pixels having depth values. The depth sensor 11 stores the acquired depth image in the storage unit 19 in association with the acquisition time. The depth sensor 11 may provide the acquired depth image to the control unit 13 . The depth sensor 11 may be any device that can acquire depth values. As an example, the depth sensor 11 is a stereo camera, radar, TOF (Time Of Flight) camera, LiDAR (Light Detection and Ranging), or the like. The position and orientation of the depth sensor 11 may be fixed, or the position and orientation of the depth sensor 11 may be movable. The number of depth sensors 11 may be one or plural. A region other than the region (first region) sensed by the depth sensor 11 corresponds to a blind spot region for the drone 101 .

カメラ（第２センサ装置）１２は、ドローン１０１が飛行する空間における検出範囲（撮像範囲）をセンシングし、輝度値（階調値とも呼ばれる）を含む画像を取得する。画像は輝度値を有する複数の画素を含むデータである。カメラ１２は、取得した画像を取得時刻に関連づけて記憶部１９に格納する。カメラ１２は、取得した画像を、制御部１３に提供してもよい。取得した画像は、静止画像または動画像である。カメラ１２は、一例としてＲＧＢカメラ、又は赤外線カメラ等である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。カメラ１２の台数及び設置位置はドローン１０１の目的に応じて決められる。カメラ１２の台数は１つの場合、及び複数の場合のいずれもある。カメラ１２の位置及び姿勢は固定でもよいし、カメラ１２の位置を移動及び姿勢を変更可能であってもよい。 A camera (second sensor device) 12 senses a detection range (imaging range) in the space in which the drone 101 flies, and acquires an image including luminance values (also called gradation values). An image is data that includes a plurality of pixels having luminance values. The camera 12 stores the acquired image in the storage unit 19 in association with the acquisition time. The camera 12 may provide the acquired image to the control unit 13 . The acquired image is a still image or a moving image. The camera 12 is, for example, an RGB camera, an infrared camera, or the like. The imaging device is, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The number and installation positions of the cameras 12 are determined according to the purpose of the drone 101 . The number of cameras 12 may be one or plural. The position and orientation of the camera 12 may be fixed, or the position and orientation of the camera 12 may be movable.

本実施形態では、少なくとも１つのカメラ１２の検出範囲（撮像範囲）は、デプスセンサ１１の検出範囲（撮像範囲）と一部において重なるように、カメラ１２の位置及び姿勢を制御可能であるが、予め固定されている。本実施形態では、カメラ１２によりセンシングされた第２領域のうち、デプスセンサ１１によりセンシングされた第１領域に含まれない第３領域について、第１領域のデプス画像と第２領域の輝度画像とに基づき、デプス値を推定することを特徴の１つとする。第３領域は、ドローン１０１の死角領域の一部又は全部である。 In this embodiment, the position and orientation of the camera 12 can be controlled so that the detection range (imaging range) of at least one camera 12 partially overlaps the detection range (imaging range) of the depth sensor 11. Fixed. In the present embodiment, for a third area, which is not included in the first area sensed by the depth sensor 11, among the second areas sensed by the camera 12, the depth image of the first area and the luminance image of the second area are combined. One of the features is that the depth value is estimated based on this. The third area is part or all of the blind area of the drone 101 .

ロータ２１Ａ～２１Ｄは、回転により揚力を生じさせることでドローン１０１を飛行させる。ロータ２１Ａ～２１Ｄはモータ２２Ａ～２２Ｄにより回転させられる。モータ２２Ａ～２２Ｄは、ロータ２１Ａ～２１Ｄを回転させる。モータ２２Ａ～２２Ｄの回転は制御部１３によって制御される。 The rotors 21A to 21D cause the drone 101 to fly by generating lift force through rotation. The rotors 21A-21D are rotated by motors 22A-22D. The motors 22A-22D rotate the rotors 21A-21D. The rotation of the motors 22A-22D is controlled by the controller 13. FIG.

制御部１３は、ドローン１０１の動作を制御する。制御部１３は、デプスセンサ１１、カメラ１２、通信部１４、モータ２２Ａ～２２Ｄ、センサ部１６、位置検出部１７、バッテリ１８、及び記憶部１９を制御する。 The control unit 13 controls operations of the drone 101 . The control unit 13 controls the depth sensor 11, the camera 12, the communication unit 14, the motors 22A to 22D, the sensor unit 16, the position detection unit 17, the battery 18, and the storage unit 19.

制御部１３は、モータ２２Ａ～２２Ｄの回転速度の調整によりロータ２１Ａ～２１Ｄの回転速度を調整する。ロータ２１Ａ～２１Ｄの回転速度を調整することで、ドローン１０１を任意の方向及び任意の速度で移動させることができる。 The control unit 13 adjusts the rotational speeds of the rotors 21A-21D by adjusting the rotational speeds of the motors 22A-22D. By adjusting the rotational speeds of the rotors 21A-21D, the drone 101 can be moved in any direction and at any speed.

制御部１３は、飛行中の間、デプスセンサ１１及びカメラ１２によるセンシングを制御する。例えば一定のサンプリング間隔ごとにデプスセンサ１１及びカメラ１２による撮像を行うよう、制御する。また、制御部１３は、通信部１４を用いて、基地局２０１、ユーザのリモコン装置又は他のドローンとの間の情報又はデータの送受信に関する処理を制御する。 The control unit 13 controls sensing by the depth sensor 11 and the camera 12 during flight. For example, control is performed so that the depth sensor 11 and the camera 12 take images at regular sampling intervals. Also, the control unit 13 uses the communication unit 14 to control processing related to transmission and reception of information or data with the base station 201, the user's remote control device, or another drone.

制御部１３は、基地局２０１から指示データとして与えられる飛行の出発地及び目的地に基づき、飛行の経路を生成し、生成した経路に沿って飛行を行う。すなわち、制御部１３は、自律飛行を行う。制御部１３は、飛行中、障害物を回避する制御を行う。障害物の例としては、他のドローン、鳥等の生物、電柱、電線など、様々ある。制御部１３が障害物を回避する制御の詳細については後述する。制御部１３は、障害物との衝突を阻止するために経路を変更してもよい。制御部１３は経路を変更する際、変更後の経路を自ら生成する方法、経路データを基地局２０１から受信し、受信した経路データが示す経路を新たな経路として飛行する方法のいずれも可能である。制御部１３は、経路を変更する場合は、例えば、ドローン１０１の現在位置の情報等を基地局２０１に送信し、経路の再生成を要求してもよい。 The control unit 13 generates a flight route based on the flight departure point and destination given as instruction data from the base station 201, and flies along the generated route. That is, the control unit 13 performs autonomous flight. The control unit 13 performs control to avoid obstacles during flight. Examples of obstacles include other drones, creatures such as birds, utility poles, and power lines. The details of the control by which the control unit 13 avoids obstacles will be described later. The control unit 13 may change the route to avoid collision with obstacles. When changing the route, the control unit 13 can either generate the route after the change by itself, or receive route data from the base station 201 and fly the route indicated by the received route data as a new route. be. When changing the route, the control unit 13 may, for example, transmit information such as the current position of the drone 101 to the base station 201 and request re-generation of the route.

制御部１３は、デプスセンサ１１で取得された第１領域のデプス画像と、カメラ１２で取得された第２領域の輝度画像とに基づき、第２領域のうち第１領域に含まれない第３領域（死角領域）のデプス値を推定する。制御部１３は、推定した第３領域のデプス値を推定時刻に関連づけて記憶部１９に格納する。制御部１３は、第３領域のデプス値に基づいて、ドローンの飛行を制御する。制御部１３は、ドローン１０１の死角領域である第３領域のデプス値を、第１領域のデプス値と第２領域の輝度値とを用いて推定することで、死角領域における衝突を回避した飛行を可能とする。 Based on the depth image of the first area acquired by the depth sensor 11 and the luminance image of the second area acquired by the camera 12, the control unit 13 detects a third area of the second area that is not included in the first area. Estimate the depth value of (blind area). The control unit 13 stores the estimated depth value of the third area in the storage unit 19 in association with the estimated time. The control unit 13 controls flight of the drone based on the depth value of the third area. The control unit 13 estimates the depth value of the third area, which is the blind area of the drone 101, using the depth value of the first area and the luminance value of the second area, thereby avoiding collision in the blind area. enable

例えば、死角領域に存在する障害物を回避する経路を生成し、生成した経路を変更後の経路とする。生成する経路は、死角領域に存在する障害物を回避できれば、死角領域を通過する経路であってもよい。この場合、ドローン１０１は元々の経路を大きく変更することなく、障害物との衝突を回避できるため、効率的な衝突回避が可能となる。また、死角領域を避ける経路を生成することも可能である。障害物が他ドローンである場合、他ドローンが死角領域を通り過ぎるまで、一時停止するか、経路から外れた位置に一時的に待避する行動を行ってもよい。このように死角領域に存在する障害物との衝突を阻止する制御を衝突回避制御と呼ぶ。なお、一時退避する動作を行った場合に、障害物が死角領域に存在しなくなった後、元の経路に戻り、飛行を再開する。あるいは、待避した位置から新たな経路を生成して、飛行を再開することも可能である。 For example, a route that avoids obstacles existing in the blind spot area is generated, and the generated route is used as the changed route. The route to be generated may be a route passing through the blind area as long as it can avoid obstacles present in the blind area. In this case, the drone 101 can avoid collisions with obstacles without significantly changing its original route, so efficient collision avoidance is possible. It is also possible to generate a route that avoids blind spots. If the obstacle is another drone, the drone may stop temporarily or temporarily retreat to a position off the path until the other drone passes through the blind spot area. Such control for preventing a collision with an obstacle existing in a blind spot area is called collision avoidance control. Note that when a temporary evacuation operation is performed, after the obstacle disappears from the blind spot area, the robot returns to the original route and resumes flight. Alternatively, it is possible to generate a new route from the retreated position and resume flight.

通信部１４は、基地局２０１、ユーザの保持する操作デバイス又は他のドローン１０１と無線通信を行うことにより、情報又はデータの送受信を行う。無線通信の方式は任意でよい。一例として、ＩＥＥＥ８０２．１１規格、ＩＥＥＥ８０２．１５．１規格、その他の規格によるものでもよい。無線通信に使用する周波数帯域は、例えば２．４ＧＨｚ帯、５ＧＨｚ帯、又はその他の周波数帯域である。 The communication unit 14 transmits and receives information or data by wirelessly communicating with the base station 201 , an operation device held by a user, or another drone 101 . Any wireless communication method may be used. For example, the IEEE802.11 standard, the IEEE802.15.1 standard, or other standards may be used. A frequency band used for wireless communication is, for example, a 2.4 GHz band, a 5 GHz band, or another frequency band.

通信部１４は、一例として、飛行に関する指示データを、基地局２０１から受信する。通信部１４は、指示データを制御部１３に提供する。制御部１３は、指示データに従って飛行を行うよう制御する。一例として指示データは出発地及び目的地を含む。制御部１３は、目的地までの経路を生成し、生成した経路に従って飛行を行うよう制御する。 As an example, the communication unit 14 receives instruction data regarding flight from the base station 201 . The communication unit 14 provides instruction data to the control unit 13 . The control unit 13 controls to fly according to the instruction data. By way of example, the instructional data includes origin and destination. The control unit 13 generates a route to the destination and controls the flight according to the generated route.

位置検出部１７は、ドローン１０１の位置を検出する。ドローン１０１の位置は、一例として、ドローン１０１の現在位置（リアルタイムの位置）である。位置検出部１７は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等を用いて位置を検出する。位置検出部１７は、検出した位置の情報を検出時刻に関連づけて記憶部１９に格納する。位置検出部１７は、検出した位置の情報を制御部１３に提供してもよい。 The position detection unit 17 detects the position of the drone 101 . The position of the drone 101 is, for example, the current position (real-time position) of the drone 101 . The position detection unit 17 detects a position using, for example, GPS (Global Positioning System). The position detection unit 17 stores the detected position information in the storage unit 19 in association with the detection time. The position detection unit 17 may provide information on the detected position to the control unit 13 .

ドローンの位置は、一例として予め定めた座標系における位置である。予め定めた座標系は、例えば、（Ｘ，Ｙ，Ｚ）＝（７．３ｍ、４．１ｍ、１５．８ｍ）のような、基地局２０１の位置を原点又は所定の位置とした３軸の座標系（ＸＹＺの座標系）である。あるいは、座標系は、基地局２０１の位置以外の点を原点としてもよい。ドローンの位置は、ＧＰＳ等により取得した緯度と経度による位置でもよい。ＧＰＳ等により取得した緯度と経度による位置を、予め定めた座標系の位置に変換してもよい。 The position of the drone is, for example, a position in a predetermined coordinate system. The predetermined coordinate system is, for example, (X, Y, Z)=(7.3 m, 4.1 m, 15.8 m). It is a coordinate system (XYZ coordinate system). Alternatively, the origin of the coordinate system may be a point other than the position of the base station 201 . The position of the drone may be a position based on latitude and longitude acquired by GPS or the like. A position in latitude and longitude acquired by GPS or the like may be converted into a position in a predetermined coordinate system.

センサ部１６は、ドローン１０１の状態を取得する１つ又は複数のセンサを備える。センサの例は、加速度センサ、方位センサ（ジャイロセンサ、ＧＰＳコンパス又は電子コンパスなど）、超音波センサ、及び気圧センサを含む。センサ部１６は、取得したドローン１０１の状態を表す情報を取得時刻に関連づけて、記憶部１９に格納する。センサ部１６は、取得したドローン１０１の状態を表す情報を制御部１３に提供してもよい。 The sensor unit 16 includes one or more sensors that acquire the state of the drone 101 . Examples of sensors include acceleration sensors, orientation sensors (such as gyro sensors, GPS compasses or electronic compasses), ultrasonic sensors, and barometric pressure sensors. The sensor unit 16 stores the acquired information representing the state of the drone 101 in the storage unit 19 in association with the acquisition time. The sensor unit 16 may provide the acquired information representing the state of the drone 101 to the control unit 13 .

センサ部１６により取得する情報の一例として、ドローンの速度及び進行方向等がある。進行方向は、予め定めた座標系で表してもよいし、真北方向を０度とし、東回りに３５９．９９までの範囲で表した絶対方位で表してもよい。絶対方位を、予め定めた座標系における方向に変換してもよい。 Examples of information acquired by the sensor unit 16 include the speed and direction of travel of the drone. The traveling direction may be represented by a predetermined coordinate system, or may be represented by an absolute azimuth that is expressed in a range of 0 degrees in the true north direction and up to 359.99 degrees eastward. The absolute orientation may be transformed into a direction in a predetermined coordinate system.

デプスセンサ１１、カメラ１２、センサ部１６及び位置検出部１７は、一例として、制御部１３の制御により、同期して動作する。例えば、一定のサンプリング間隔で、同じ時刻で動作する。但し、デプスセンサ１１、カメラ１２、センサ部１６及び位置検出部１７のサンプリング間隔及び動作時刻の少なくとも一方が異なっていてもよい。 The depth sensor 11, the camera 12, the sensor unit 16, and the position detection unit 17 operate in synchronization under the control of the control unit 13, for example. For example, they operate at the same time at regular sampling intervals. However, at least one of the sampling intervals and operation times of the depth sensor 11, the camera 12, the sensor unit 16, and the position detection unit 17 may be different.

バッテリ１８は、ドローン１０１内の各要素を動作させるための電力エネルギーを蓄えている。バッテリ１８は、放電のみが可能な一次電池でも、充放電可能な二次電池であってもよい。 The battery 18 stores power energy for operating each element in the drone 101 . The battery 18 may be a primary battery that can only be discharged or a secondary battery that can be charged and discharged.

記憶部１９は、センサ部１６により取得された情報（速度、進行方向等）、位置検出部１７により取得された位置の情報、デプスセンサ１１により取得されたデプス画像、カメラ１２により取得された輝度画像、制御部１３により推定された第３領域のデプス値等を格納する。制御部１３がバッテリ１８の残存エネルギー量の情報を取得し、取得した情報を記憶部１９に格納してもよい。 The storage unit 19 stores information (speed, traveling direction, etc.) acquired by the sensor unit 16, position information acquired by the position detection unit 17, depth images acquired by the depth sensor 11, and luminance images acquired by the camera 12. , the depth value and the like of the third region estimated by the control unit 13 are stored. The control unit 13 may acquire information on the remaining energy amount of the battery 18 and store the acquired information in the storage unit 19 .

記憶部１９は、ドローン１０１の属性及び性能に関する情報を記憶している。一例として、記憶部１９は、デプスセンサ１１及びカメラ１２の位置及び個数の情報を記憶している。一例として、ドローンの特定の方向に１つのみデプスセンサ１１を設置、又はドローンの周囲に複数個のデプスセンサ１１を設置することがある。同様に、ドローンの特定の方向に１つのみカメラ１２を設置、又はドローンの周囲に複数個のカメラ１２を設置することがある。なお、画角が狭いほど、遠くまで撮影できる。 The storage unit 19 stores information about attributes and performance of the drone 101 . As an example, the storage unit 19 stores information on the positions and the number of the depth sensors 11 and the cameras 12 . As an example, only one depth sensor 11 is installed in a particular direction of the drone, or multiple depth sensors 11 are installed around the drone. Similarly, only one camera 12 may be installed in a particular direction of the drone, or multiple cameras 12 may be installed around the drone. Note that the narrower the angle of view, the farther you can shoot.

また記憶部１９は、デプスセンサ１１のセンシング範囲（例えばステレオカメラの画角）と、カメラ１２の撮像範囲（例えば画角）とを表す情報を記憶している。また、カメラ１２の撮像範囲のうちデプスセンサ１１のセンシング範囲と重なる範囲（あるいは重ならない範囲）の情報を記憶している。カメラ１２が複数存在する場合、デプスセンサ１１とカメラ１２の組み合わせごとに、重なる範囲（あるいは重ならない範囲）の情報を記憶している。また、記憶部１９は、デプスセンサ１１及びカメラ１２のそれぞれのパラメータ情報を記憶している。具体的には、デプスセンサ１１及びカメラ１２の位置関係に関する情報、デプスセンサ１１及びカメラ１２の内部パラメータ（焦点距離等）の情報を記憶していている。パラメメータ情報は例えば予めデプスセンサ１１及びカメラ１２のキャリブレーションを行うことにより取得できる。 The storage unit 19 also stores information representing the sensing range of the depth sensor 11 (for example, the angle of view of the stereo camera) and the imaging range of the camera 12 (for example, the angle of view). It also stores information about the range of the imaging range of the camera 12 that overlaps (or does not overlap) the sensing range of the depth sensor 11 . When there are a plurality of cameras 12, information on the overlapping range (or non-overlapping range) is stored for each combination of the depth sensor 11 and the camera 12. FIG. The storage unit 19 also stores parameter information for each of the depth sensor 11 and the camera 12 . Specifically, information on the positional relationship between the depth sensor 11 and the camera 12 and information on internal parameters (focal length, etc.) of the depth sensor 11 and the camera 12 are stored. The parameter information can be acquired by calibrating the depth sensor 11 and the camera 12 in advance, for example.

また、記憶部１９は、ドローン１０１の属性及び性能に関する情報として、以下の情報を記憶していてもよい。
・機体ＩＤ
・飛行目的（移動目的）
・飛行性能（移動性能）
・出発地及び目的地
・認識性能 In addition, the storage unit 19 may store the following information as information regarding the attributes and performance of the drone 101 .
・Machine ID
・Purpose of flight (Purpose of movement)
・Flight performance (movement performance)
・Departure point and destination ・Recognition performance

機体ＩＤは、ドローンをユニークに識別するＩＤである。例えば、“ＡＢＣ１２３”などである。機体ＩＤは、使用プロトコルに応じた通信用のアドレスを含んでもよい。 The body ID is an ID that uniquely identifies the drone. For example, it is "ABC123". The device ID may include an address for communication according to the protocol used.

飛行目的の例として、撮影、救命（救助を含む）、物流、消火、監視などがある。撮影の例として、地上の路面を走行する車両の撮影、施設内を自律走行する搬送車の撮影、又は船舶の撮影などがある。救命の例として、被災地又は事故現場等への医療物資又は生活物資の搬送がある。消化の例として、火事現場への消化剤の投下がある。物流の例として、荷物の輸送等がある。監視の例として、不審者の検出、施設の異常検出等がある。 Examples of flight purposes include photography, lifesaving (including rescue), logistics, firefighting, and surveillance. Examples of photography include photography of a vehicle traveling on a road surface on the ground, photography of a transport vehicle autonomously traveling within a facility, photography of a ship, and the like. Examples of lifesaving include transportation of medical supplies or daily necessities to a disaster area or an accident site. An example of extinguishing is the dropping of extinguishing agent on the scene of a fire. As an example of physical distribution, there is the transportation of luggage. Examples of monitoring include detection of suspicious persons, detection of facility anomalies, and the like.

複数のカメラ１２が設けられている場合、飛行目的ごとにカメラ１２が使い分けられてもよい。例えばカメラ１２として、センサ装置Ａ、センサ装置Ｂ、センサ装置Ｃがあり、センサ装置Ａが車両の撮影用、センサ装置Ｂが救命用、センサ装置Ｃが監視用として定められていてもよい。ある飛行においてドローンの目的が車両の撮影の場合、センサ装置Ｂ及びセンサ装置Ｃが用いられなくてもよい。第３領域のデプス値の推定に用いるカメラ１２として、飛行の目的に使用されていないセンサ装置（本例ではセンサ装置Ｂ及びセンサ装置Ｃの少なくとも一方）を用いてもよい。 When a plurality of cameras 12 are provided, the camera 12 may be used properly for each flight purpose. For example, the camera 12 may include a sensor device A, a sensor device B, and a sensor device C, and the sensor device A may be set for photographing a vehicle, the sensor device B for lifesaving, and the sensor device C for monitoring. If the purpose of the drone is to photograph a vehicle in a certain flight, sensor device B and sensor device C may not be used. A sensor device (at least one of sensor device B and sensor device C in this example) that is not used for the purpose of flight may be used as the camera 12 used for estimating the depth value of the third region.

飛行性能の例として、制動性能又は小回り性能等がある。制動性能の指標として、例えば制御部が停止命令（空中で停止する命令）を発行してから実際にドローンが停止するまでの距離（制動距離）がある。制動距離は、ドローンの速度又はブレーキの強さ（制動力）に依存する。小回り性能の指標として、例えば、最小回転半径がある。 Examples of flight performance include braking performance or sharp turning performance. As an index of braking performance, for example, there is a distance (braking distance) from when the control unit issues a stop command (command to stop in the air) until the drone actually stops. The braking distance depends on the speed of the drone or the strength of the brakes (braking force). As an index of sharp turning performance, for example, there is a minimum turning radius.

目的地又は出発地は、予め定めた座標系における座標を用いて定められる。例えば、目的地は、（Ｘ，Ｙ，Ｚ）＝（１８０ｍ、２１０ｍ、１．０ｍ）である。目的地又は出発地として、ＧＰＳにより取得した緯度と経度による位置を用いてもよい。目的地が存在しない場合もある。監視目的などで同じ経路を循環的に飛行する場合、目的地が存在しなくてもよい。 A destination or departure point is determined using coordinates in a predetermined coordinate system. For example, the destination is (X, Y, Z)=(180m, 210m, 1.0m). A latitude and longitude position obtained by GPS may be used as the destination or departure point. A destination may not exist. When flying the same route cyclically, such as for surveillance purposes, the destination need not exist.

図３は、基地局２０１のブロック図である。基地局２０１は、アンテナ２０２、通信部２０３、制御部２０４、及び記憶部２０５を備えている。 FIG. 3 is a block diagram of the base station 201. As shown in FIG. Base station 201 includes antenna 202 , communication section 203 , control section 204 , and storage section 205 .

通信部２０３は、ドローン１０１（１０１Ａ～１０１Ｃ）と無線通信を行うことにより、情報又はデータの送受信処理を行う。無線通信の方式は任意でよい。一例として、ＩＥＥＥ８０２．１１規格、ＩＥＥＥ８０２．１５．１規格、その他の規格によるでもよい。無線通信に使用する周波数帯域は、一例として、２．４ＧＨｚ帯、５ＧＨｚ帯、その他の周波数帯域である。 The communication unit 203 performs information or data transmission/reception processing by performing wireless communication with the drones 101 (101A to 101C). Any wireless communication method may be used. For example, the IEEE802.11 standard, the IEEE802.15.1 standard, or other standards may be used. Examples of frequency bands used for wireless communication are 2.4 GHz band, 5 GHz band, and other frequency bands.

通信部２０３は、制御部２０４からドローン１０１に飛行に関する指示データを取得し、指示データをドローン１０１に送信する。 The communication unit 203 acquires instruction data regarding flight from the control unit 204 to the drone 101 and transmits the instruction data to the drone 101 .

記憶部２０５には、ドローン１０１の属性及び性能に関する情報が格納されている。例えば、ドローン１０１の機体ＩＤ、スペック情報（機種、重量、サイズなど）、飛行目的（移動目的）、飛行性能（移動性能）、出発地及び目的地、認識性能に関する情報が格納されている。 The storage unit 205 stores information about attributes and performance of the drone 101 . For example, the drone 101 ID, spec information (model, weight, size, etc.), flight purpose (movement purpose), flight performance (movement performance), origin and destination, and information on recognition performance are stored.

制御部２０４は、基地局２０１の動作を制御する。また、ドローン１０１に飛行に関する指示を行う。 A control unit 204 controls the operation of the base station 201 . In addition, the drone 101 is instructed regarding flight.

制御部２０４は、記憶部２０５におけるドローン１０１に関する情報に基づき、ドローン１０１の飛行に関する指示データを生成する。指示データは、一例として出発地及び目的地を含む。別の例として、指示データは、飛行の経路を含んでもよい。制御部２０４は、生成した指示データを、通信部２０３を介して、ドローン１０１に送信する。 The control unit 204 generates instruction data regarding the flight of the drone 101 based on the information regarding the drone 101 in the storage unit 205 . The instruction data includes, by way of example, a departure point and a destination. As another example, the instructional data may include flight paths. The control unit 204 transmits the generated instruction data to the drone 101 via the communication unit 203 .

制御部２０４は、ドローン１０１から経路の再生成の要求を受信した場合は、経路の再生成を行う。制御部２０４は、再生成した経路を含む指示データを、ドローン１０１に送信する。 When receiving a route regeneration request from the drone 101 , the control unit 204 regenerates the route. The control unit 204 transmits instruction data including the regenerated route to the drone 101 .

制御部２０４は、ドローン１０１との情報又はデータの送受信を制御する。一例として、制御部２０４は、ドローン１０１から、ドローン１０１のセンサ部１６、制御部１３及び位置検出部１７で取得された情報又はデータを取得し、取得した情報又はデ－タを記憶部２０５に格納する。 The control unit 204 controls transmission and reception of information or data with the drone 101 . As an example, the control unit 204 acquires information or data acquired by the sensor unit 16, the control unit 13, and the position detection unit 17 of the drone 101 from the drone 101, and stores the acquired information or data in the storage unit 205. Store.

制御部２０４は、ドローン１０１からデプスセンサ１１により取得された第１領域のデプス画像と、カメラ１２により取得された第２領域の輝度画像とを受信し、第３領域のデプス値を推定する処理を行ってもよい。推定した第３領域のデプス値に基づき、ドローン１０１の衝突を回避する制御を行ってもよい。例えばドローン１０１が第３領域に存在する障害物を回避する経路を生成し、生成した経路の指示データを変更後の経路としてドローン１０１に送信してもよい。生成する経路は、第３領域に存在する障害物を回避する経路であれば、第３領域を通過する経路であってもよいし、第３領域を回避する経路であってもよい。 The control unit 204 receives the depth image of the first area acquired by the depth sensor 11 from the drone 101 and the luminance image of the second area acquired by the camera 12, and performs processing for estimating the depth value of the third area. you can go Control to avoid collision of the drone 101 may be performed based on the estimated depth value of the third region. For example, the drone 101 may generate a route that avoids obstacles existing in the third area, and transmit instruction data for the generated route to the drone 101 as the changed route. The route to be generated may be a route that passes through the third region or a route that avoids the third region, as long as it avoids obstacles existing in the third region.

［死角領域における障害物の検出］
以下、デプスセンサ１１により取得された第１領域のデプス画像と、カメラ１２により取得された第２領域の輝度画像とに基づいて、第２領域のうち第１領域に含まれない第３領域（死角領域）のデプス値を推定する処理の詳細について説明する。 [Detection of Obstacle in Blind Area]
Hereinafter, based on the depth image of the first area acquired by the depth sensor 11 and the luminance image of the second area acquired by the camera 12, the third area (blind spot area) will be described in detail.

図４は、ドローン１０１の死角領域を説明するための平面図である。ドローン本体３０と、４枚のプロペラ３１とを備えたドローン１０１が示されている。ドローン本体３０の右前、左前、左後ろ、右後にはそれぞれデプスセンサ１１が設けられている。４つのデプスセンサ１１は各々の撮像範囲に従って、それぞれ対応する領域（第１領域）３２を撮像可能である。すなわち、４つのデプスセンサ１１は、それぞれ対応する領域３２内のデプス（距離）を測定可能である。しかしながら、各領域３２間の４つの領域３３はデプスセンサ１１の撮像範囲外であり、デプスを測定できない。すなわち、領域３３は、ドローン１０１の死角領域（第３領域）である。 FIG. 4 is a plan view for explaining the blind area of the drone 101. FIG. A drone 101 with a drone body 30 and four propellers 31 is shown. Depth sensors 11 are provided on the front right, front left, rear left, and rear right of the drone body 30 . The four depth sensors 11 can image corresponding regions (first regions) 32 according to their imaging ranges. That is, the four depth sensors 11 can measure the depth (distance) within the corresponding regions 32 . However, four areas 33 between the areas 32 are outside the imaging range of the depth sensor 11, and the depth cannot be measured. That is, the area 33 is a blind spot area (third area) of the drone 101 .

前述したようにデプスセンサ１１はデプスを測定可能な限りどのようなデバイスでもよい。例えばデプスセンサ１１はステレオカメラである。ステレオカメラの場合、２つのカメラで撮像した画像間の対応関係と、三角測量の原理に基づき、物体までのデプス（距離）を測定できる。 As described above, the depth sensor 11 may be any device as long as it can measure depth. For example, the depth sensor 11 is a stereo camera. In the case of a stereo camera, the depth (distance) to an object can be measured based on the correspondence relationship between the images captured by the two cameras and the principle of triangulation.

図５は、ステレオカメラを用いてデプスを測定するイメージ図である。左カメラ３４Ａと右カメラ３４Ｂとを含むステレオカメラ３４が示されている。左カメラ３４Ａの撮像範囲３５Ａと右カメラ３４Ｂの撮像範囲３５Ｂがオーバーラップする領域３２に関し、３角測量の原理に基づき、デプスを測定することが可能である。領域３２は、図４のデプスを測定可能な領域３２に対応する。なお、左カメラ３４Ａ及び右カメラ３４Ｂのパラメータ情報は予めキャリブレーションにより取得されているものとする。なお、ステレオカメラを用いてデプスを測定する例は一例に過ぎず、ＬｉＤＡＲ又はレーザなど他のセンサ装置を用いてデプスを測定することも可能である。 FIG. 5 is an image diagram of depth measurement using a stereo camera. A stereo camera 34 is shown that includes a left camera 34A and a right camera 34B. The depth can be measured based on the principle of triangulation with respect to the region 32 where the imaging range 35A of the left camera 34A and the imaging range 35B of the right camera 34B overlap. A region 32 corresponds to the depth measurable region 32 in FIG. It is assumed that the parameter information of the left camera 34A and the right camera 34B are acquired in advance by calibration. Note that the example of measuring the depth using a stereo camera is merely an example, and it is also possible to measure the depth using other sensor devices such as LiDAR or laser.

図６は、死角領域における障害物の検出を必要とする場合の例１を説明する図である。ユーザがリモコンによりドローン１０１を操作している状況を想定する。この例ではドローン１０１の前方にのみデプスセンサ１１が設けられている。ドローン１０１が図の方向５１にある速度で進んでいる状況において、ユーザにより方向５２に飛行方向の変更指示がなされたとする。方向５２の領域は、デプスセンサ１１の撮像範囲に含まれず、ドローン１０１にとっての死角領域である。したがって、もし死角領域に障害物が存在する場合、ユーザの指示に従って方向転換を行ってしまうと、ドローン１０１が障害物に衝突する可能性がある。このような場合に、死角領域における障害物を事前に検出できれば、ユーザが指示した方向には障害物が存在するとの警告を通知することが可能である。また、ユーザが指示した方向になるべく近い方向で、障害物を回避可能な方向をユーザに提示することも可能である。 FIG. 6 is a diagram for explaining example 1 when it is necessary to detect an obstacle in a blind spot area. Assume that the user is operating the drone 101 with a remote controller. In this example, the depth sensor 11 is provided only in front of the drone 101 . Assume that the user issues an instruction to change the flight direction to a direction 52 while the drone 101 is traveling at a certain speed in a direction 51 in the figure. The area in the direction 52 is not included in the imaging range of the depth sensor 11 and is a blind spot area for the drone 101 . Therefore, if there is an obstacle in the blind area, the drone 101 may collide with the obstacle if it changes direction according to the user's instruction. In such a case, if an obstacle in the blind spot area can be detected in advance, it is possible to issue a warning that there is an obstacle in the direction indicated by the user. It is also possible to present to the user a direction that is as close as possible to the direction indicated by the user and in which obstacles can be avoided.

図７は、死角領域における障害物の検出を必要とする場合の例２を説明する図である。この例ではドローン１０１が自律飛行している。ドローン１０１が方向５１にある速度で、目的地５３に向かって進んでいる。ドローン１０１は前方に障害物が検出されない限りは、方向５１に進むが、障害物が検出された場合には、経路を変更するため、事前に様々な方向５５Ａ、５５Ｂの死角領域について障害物の検出を行いながら飛行している。図の例ではこのまま直進するとデプスセンサ１１の検出範囲である領域３２に障害物５４が検出される。この場合も、ドローン１０１は事前に死角領域において検出した障害物の情報に基づき、死角領域における障害物を回避する最適な経路を選択し、選択した経路に切り替えることができる。なお、検出範囲内に障害物５４が入り、実際に障害物５４を検出したタイミングで、死角領域の障害物の検出を行い、経路を切り替えることも可能である。障害物の検出の処理速度と経路の切り替え速度が、進行方向の障害物を検出してから衝突までの時間よりも短ければ、進行方向の障害物５４を検出してから経路を切り替えても障害物５４との衝突を回避できる。 FIG. 7 is a diagram for explaining example 2 when it is necessary to detect an obstacle in a blind spot area. In this example, the drone 101 is flying autonomously. A drone 101 is traveling toward a destination 53 at a certain speed in direction 51 . The drone 101 advances in the direction 51 unless an obstacle is detected ahead, but if an obstacle is detected, the drone 101 changes its route. It is flying while performing detection. In the example shown in the figure, if the vehicle continues straight ahead, an obstacle 54 will be detected in the area 32 that is the detection range of the depth sensor 11 . In this case as well, the drone 101 can select an optimal route that avoids obstacles in the blind area based on information on obstacles detected in advance in the blind area, and switch to the selected route. It is also possible to detect the obstacle in the blind area and switch the route at the timing when the obstacle 54 enters the detection range and the obstacle 54 is actually detected. If the obstacle detection processing speed and the path switching speed are shorter than the time from detecting an obstacle in the direction of travel to collision, even if the obstacle 54 in the direction of travel is detected and the route is switched, there will be no obstacle. A collision with the object 54 can be avoided.

図８は、本実施形態でデプスを推定する死角領域を説明する図である。ドローン１０１の前及び右側にそれぞれデプスセンサ１１（それぞれ１１Ａ、１１Ｂとする）が設けられており、それぞれ領域３２Ａ、３２Ｂのデプス画像として測距可能である。またカメラ１２が右前に設けられており、カメラ１２は領域６１（第２領域）の輝度画像を撮像可能である。ドローン１０１は方向６２にこれから進みたい、若しくは方向６２に実際に進んでいる状況を想定する。なおドローン１０１は図示の姿勢のまま（前方を向いた姿勢のまま）方向６２に移動可能である。 FIG. 8 is a diagram illustrating a blind spot area for estimating depth in this embodiment. Depth sensors 11 (referred to as 11A and 11B, respectively) are provided in front and on the right side of the drone 101, respectively, and distance measurement is possible as depth images of areas 32A and 32B, respectively. A camera 12 is provided on the front right side, and the camera 12 can capture a luminance image of the area 61 (second area). Assume that the drone 101 wants to proceed in the direction 62 or is actually proceeding in the direction 62 . Note that the drone 101 can move in the direction 62 while maintaining the attitude shown in the figure (while facing forward).

本実施形態では領域６１（第２領域）のうち、領域３２Ａ及び領域３２Ｂ（第１領域）と重なる領域についてはデプスセンサ１１Ａ、１１Ｂの撮像画像からデプス値を取得可能である。この重なる領域についてはデプス値を取得できていることからドローン１０１の死角領域ではない。領域６１のうち領域３２Ａ及び領域３２Ｂと重ならない領域についてはデプス値が取得できていないためドローン１０１にとって死角領域である。本実施形態ではこの死角領域のデプス値を、領域３２Ａ及び領域３２Ｂのデプス値と、領域６１の輝度値とを用いて推定する。 In the present embodiment, it is possible to acquire depth values from the captured images of the depth sensors 11A and 11B for the regions overlapping the regions 32A and 32B (first region) in the region 61 (second region). Since the depth value has been acquired for this overlapping area, it is not a blind spot area of the drone 101 . A region of the region 61 that does not overlap with the regions 32A and 32B is a blind spot region for the drone 101 because the depth value cannot be acquired. In this embodiment, the depth value of the blind area is estimated using the depth values of the areas 32A and 32B and the luminance value of the area 61. FIG.

図９は、制御部１０３において死角領域のデプス値を推定し、障害物の検出を行う処理に関わるブロック図である。制御部１０３は画像補正処理部７１と、セグメンテーション部７２と、デプス推定部７５と、衝突判定部７６と、画像補正処理部８１Ａ、８１Ｂと、デプス画像取得部８２Ａ、８２Ｂと、座標変換部８４Ａ、８４Ｂとを備える。記憶部１９は、学習済みニューラルネットワーク７４、カメラパラメータ情報７３、ステレオカメラＡのパラメータ情報８３Ａ、ステレオカメラＢのパラメータ情報８３Ｂを記憶している。
図９の例では、デプスセンサ１１としてステレオカメラを用いているが、ＬｉＤＡＲ等の他のセンサを用いてもよい。この場合、デプス画像取得部８２Ａ、８２Ｂで視差推定を行う必要はない。また画像補正処理は、デプス画像取得部８２Ａ、８２Ｂで取得されたデプス画像に対して行い、補正後のデプス画像を座標変換部８４Ａに提供すればよい。 FIG. 9 is a block diagram related to the process of estimating the depth value of the blind spot area and detecting an obstacle in the control unit 103. As shown in FIG. The control unit 103 includes an image correction processing unit 71, a segmentation unit 72, a depth estimation unit 75, a collision determination unit 76, image correction processing units 81A and 81B, depth image acquisition units 82A and 82B, and a coordinate conversion unit 84A. , 84B. The storage unit 19 stores a trained neural network 74, camera parameter information 73, stereo camera A parameter information 83A, and stereo camera B parameter information 83B.
In the example of FIG. 9, a stereo camera is used as the depth sensor 11, but other sensors such as LiDAR may be used. In this case, there is no need to perform parallax estimation in the depth image acquisition units 82A and 82B. Image correction processing may be performed on the depth images acquired by the depth image acquisition units 82A and 82B, and the corrected depth images may be provided to the coordinate transformation unit 84A.

画像補正処理部７１は、カメラ１２で取得された輝度画像（カメラ画像）を取得し、カメラパラメータ情報７３を用いて輝度画像の補正処理を行う。画像補正処理部７１は、カメラ１２から輝度画像を取得する取得部（第１取得部）７０を含む。カメラパラメータ情報７３は、事前のキャリブレーションにより取得されたカメラ１２のパラメータ情報である。補正処理の例として、ゲイン調整、黒レベル調整、白レベル調整、ノイズ除去、又はガンマ処理等がある。画像補正処理部７１は、補正後の輝度画像をセグメンテーション部７２に提供する。 The image correction processing unit 71 obtains a luminance image (camera image) obtained by the camera 12 and performs correction processing of the luminance image using the camera parameter information 73 . The image correction processing unit 71 includes an acquisition unit (first acquisition unit) 70 that acquires the luminance image from the camera 12 . The camera parameter information 73 is parameter information of the camera 12 acquired by pre-calibration. Examples of correction processing include gain adjustment, black level adjustment, white level adjustment, noise removal, gamma processing, and the like. The image correction processing unit 71 provides the corrected luminance image to the segmentation unit 72 .

セグメンテーション部７２は、学習済みニューラルネットワーク７４を用いて、補正後の輝度画像にセマンティックセグメンテーションを行う。セマンティックセグメンテーションは、画像の各画素のクラス（種別）を、画素単位で分類する手法である。画素毎にクラスを判定し、判定されたクラスを示したラベルを画素毎に出力する。例えば、予め、人間、背景、電柱、道路、横断歩道、樹木、ビルといった複数のオブジェクトに対して各々クラスが定義されている。各クラスには特定の色が割り当てられている。各画素に対して、クラスの判定を行う。セマンティックセグメンテーションの結果として、画像の各画素に対応するクラス値が得られる各クラス値を、色とクラスの対応表に基づき色値に変換して、セグメンテーション画像が得られる。セグメンテーション画像の画像サイズ（画素数）は、輝度画像と同じである。 The segmentation unit 72 uses the trained neural network 74 to perform semantic segmentation on the corrected luminance image. Semantic segmentation is a method of classifying the class (type) of each pixel of an image on a pixel-by-pixel basis. A class is determined for each pixel, and a label indicating the determined class is output for each pixel. For example, classes are defined in advance for a plurality of objects such as people, backgrounds, utility poles, roads, pedestrian crossings, trees, and buildings. Each class is assigned a specific color. Class determination is performed for each pixel. As a result of semantic segmentation, a class value corresponding to each pixel of the image is obtained. Each class value is converted to a color value based on the color-class correspondence table to obtain a segmentation image. The image size (number of pixels) of the segmentation image is the same as that of the luminance image.

セグメンテーション画像において、連続する同じ色値のまとまりが１つのオブジェクト（セグメント）に対応する。オブジェクトの最外延の画素が、オブジェクトの境界線となる。このようなセマンティックセグメンテーションを、学習済みニューラルネットワーク７４を用いて行う。画像をニューラルネットワークの入力として用いる。ニューラルネットワークを用いた処理において、各画素を画素単位でクラス予測する。ニューラルネットワークの出力は、入力された画像の各画素に割り当てられたクラス値（数値）を含むクラスマップを含む。クラスと色の対応表を参照し、クラスマップの各クラス値を、各クラス値に対応する色値に置換することで、セグメンテーション画像が得られる。セグメンテーション画像により、セグメンテーション結果を可視化できる。 In the segmentation image, a group of consecutive same color values corresponds to one object (segment). The outermost pixels of the object are the boundaries of the object. Such semantic segmentation is performed using trained neural network 74 . Images are used as input for neural networks. In processing using a neural network, each pixel is class-predicted on a pixel-by-pixel basis. The output of the neural network includes a class map containing class values (numerical values) assigned to each pixel of the input image. A segmentation image is obtained by referring to the class-color correspondence table and replacing each class value in the class map with a color value corresponding to each class value. The segmentation image allows visualizing the segmentation results.

本実施形態では画像のセグメンテーションのためセマンティックセグメンテーションを用いているが、画像をセグメント化できる手法であれば、色情報に基づくクラスタリング手法など、他の手法を用いてもかまわない。またセグメント化に用いるモデルも、ニューラルネットワークに限定されない。また本実施形態では補正後の輝度画像にセグメンテーションを行っているが、補正が行われていない輝度画像にセグメンテーションを行ってもよい。 In this embodiment, semantic segmentation is used for image segmentation, but other techniques, such as a clustering technique based on color information, may be used as long as the technique is capable of segmenting an image. Also, the model used for segmentation is not limited to a neural network. Further, in the present embodiment, segmentation is performed on the luminance image after correction, but segmentation may be performed on the luminance image that has not been corrected.

図１０は、カメラ１２により取得された輝度画像をセマンティックセグメンテーションして得られたセグメンテーション画像９０の例を示す。５つのオブジェクト（セグメント）９１Ａ、９１Ｂ、９２、９３、９４が含まれている。オブジェクト９４は人オブジェクト、オブジェクト９２は地面オブジェクト、オブジェクト９３は空オブジェクト、オブジェクト９１Ａ、９１Ｂは静止構造物（壁、電柱など）オブジェクトである。各オブジェクトには異なる色が付けられている。オブジェクト９１Ａ、９１Ｂの色は、オブジェクト９１Ａ、９１Ｂが同じクラスである場合は同じである。 FIG. 10 shows an example of a segmentation image 90 obtained by semantic segmentation of the luminance image acquired by the camera 12. As shown in FIG. Five objects (segments) 91A, 91B, 92, 93, 94 are included. An object 94 is a human object, an object 92 is a ground object, an object 93 is a sky object, and objects 91A and 91B are stationary structure (walls, telephone poles, etc.) objects. Each object has a different color. The colors of the objects 91A, 91B are the same if the objects 91A, 91B are of the same class.

セグメンテーション部７２はセグメンテーション画像をデプス推定部７５に提供する。 Segmentation unit 72 provides the segmentation image to depth estimation unit 75 .

画像補正処理部８１Ａは、ステレオカメラＡの左カメラ及び右カメラにより撮像された画像を取得する。画像補正処理部８１Ａは、ステレオカメラＡのパラメータ情報８３Ａに基づき、左カメラ及び右カメラにより撮像された画像の補正処理を行う。例えばノイズ除去や、左カメラと右カメラの位置関係に基づくレクティフィケーションを行う。画像補正処理部８１Ａは、左カメラの補正画像と右カメラの補正画像をデプス画像取得部８２Ａに提供する。 The image correction processing unit 81A acquires images captured by the left camera and the right camera of the stereo camera A. FIG. Based on the parameter information 83A of the stereo camera A, the image correction processing unit 81A corrects the images captured by the left camera and the right camera. For example, it performs noise reduction and rectification based on the positional relationship between the left and right cameras. The image correction processing unit 81A provides the corrected image of the left camera and the corrected image of the right camera to the depth image acquisition unit 82A.

デプス画像取得部８２Ａは、左カメラの補正画像と右カメラの補正画像と、左カメラと右カメラの視差と、三角測量の原理に基づき、左カメラと右カメラの撮像領域が重なる領域のデプス値を含むデプス画像を取得する。デプス画像取得部８２Ａは、ステレオカメラＡの撮像領域のデプス値を含むデプス画像を取得する取得部（第２取得部）を備えている。デプス画像取得部８２Ａは、取得したデプス画像（デプス画像Ａ又はデプスマップＡと呼ぶ）を、座標変換部８４Ａと衝突判定部７６に提供する。 The depth image acquisition unit 82A obtains the depth value of the area where the imaging areas of the left camera and the right camera overlap based on the corrected image of the left camera, the corrected image of the right camera, the parallax between the left camera and the right camera, and the principle of triangulation. Get a depth image containing The depth image acquisition unit 82A includes an acquisition unit (second acquisition unit) that acquires a depth image including depth values of the imaging region of the stereo camera A. FIG. The depth image acquisition unit 82A provides the acquired depth image (referred to as depth image A or depth map A) to the coordinate conversion unit 84A and the collision determination unit 76 .

座標変換部８４Ａは、カメラ１２のパラメータ情報と、ステレオカメラＡのパラメータ情報と、カメラ１２及びステレオカメラＡの位置関係とに基づき、デプス画像Ａ（デプスマップＡ）をステレオカメラＡの座標系からカメラ１２の座標系に変換する。変換後のデプスマップＡをデプス推定部７５に提供する。カメラ１２とステレオカメラＡの位置関係は、予め外部パラメータ情報として記憶部１９に格納されている。あるいは、当該位置関係が、カメラ１２のパラメータ情報又は、ステレオカメラＡのパラメータ情報に含まれていてもよい。座標変換部８４Ａは、変換後のデプス画像（デプスマップＡ）を、デプス推定部７５に提供する。 The coordinate transformation unit 84A converts the depth image A (depth map A) from the coordinate system of the stereo camera A based on the parameter information of the camera 12, the parameter information of the stereo camera A, and the positional relationship between the camera 12 and the stereo camera A. Convert to the coordinate system of the camera 12 . The depth map A after conversion is provided to the depth estimation unit 75 . The positional relationship between camera 12 and stereo camera A is stored in advance in storage unit 19 as external parameter information. Alternatively, the positional relationship may be included in the parameter information of the camera 12 or the parameter information of the stereo camera A. The coordinate transformation unit 84A provides the transformed depth image (depth map A) to the depth estimation unit 75 .

画像補正処理部８１Ｂは、画像補正処理部８１Ａと同様に、ステレオカメラＡの左カメラ及び右カメラにより撮像された画像を取得する。画像補正処理部８１Ａは、ステレオカメラＡのパラメータ情報８３Ａに基づき、左カメラ及び右カメラにより取得された画像の補正処理を行う。画像補正処理部８１Ｂは、左カメラの補正画像と右カメラの補正画像をデプス画像取得部８２Ｂに提供する。 The image correction processing unit 81B acquires images captured by the left camera and the right camera of the stereo camera A in the same manner as the image correction processing unit 81A. Based on the parameter information 83A of the stereo camera A, the image correction processing unit 81A corrects the images acquired by the left camera and the right camera. The image correction processing unit 81B provides the corrected image of the left camera and the corrected image of the right camera to the depth image acquisition unit 82B.

デプス画像取得部８２Ｂは、デプス画像取得部８２Ａと同様に、左カメラの補正画像と右カメラの補正画像と、左カメラと右カメラの視差と、三角測量の原理に基づき、左カメラと右カメラの撮像領域が重なる領域のデプス値を含むデプス画像を取得する。デプス画像取得部８２Ｂは、ステレオカメラＢの撮像領域のデプス値を含むデプス画像を取得する取得部（第２取得部）を備えている。デプス画像取得部８２Ｂは、取得したデプス画像（デプス画像Ｂ又はデプスマップＢと呼ぶ）を、座標変換部８４Ｂと衝突判定部７６に提供する。 Similar to the depth image acquisition unit 82A, the depth image acquisition unit 82B uses the left camera and the right camera based on the corrected image of the left camera, the corrected image of the right camera, the parallax between the left camera and the right camera, and the principle of triangulation. acquires a depth image including the depth value of the region where the two imaging regions overlap. The depth image acquisition unit 82B includes an acquisition unit (second acquisition unit) that acquires a depth image including depth values of the imaging region of the stereo camera B. FIG. The depth image acquisition unit 82B provides the acquired depth image (referred to as depth image B or depth map B) to the coordinate conversion unit 84B and the collision determination unit .

座標変換部８４Ｂは、座標変換部８４Ａと同様に、デプス画像Ｂ（デプスマップＢ）をステレオカメラＢの座標系からカメラ１２の座標系に変換して、変換後のデプスマップＢをデプス推定部７５に提供する。座標変換部８４Ｂは、変換後のデプス画像（デプスマップＢ）をデプス推定部７５に提供する。 Similar to the coordinate transformation unit 84A, the coordinate transformation unit 84B transforms the depth image B (depth map B) from the coordinate system of the stereo camera B to the coordinate system of the camera 12, and converts the depth map B after transformation into the depth estimation unit. 75. The coordinate transformation unit 84B provides the depth estimation unit 75 with the transformed depth image (depth map B).

デプス推定部７５は、セグメンテーション画像に対して、変換後のデプスマップＡ及び変換後のデプスマップＢを位置合わせする。すなわち互いに対応する画素同士でセグメンテーション画像と各変換後のデプスマップを位置合わせする。３角測量の原理とエピポーラ制約、ある基準座標系における自己位置情報、及び、事前にキャリブレーションされた各センサ間の相対位置情報とから、デプスマップＡ及びデプスマップＢの各画素が、セグメンテーション画像のどの画素に対応するかは一意に特定される。デプスマップＡ及びデプスマップＢとセグメンテーション画像の画像サイズが異なる場合は、適宜補間処理を行えばよい。これにより重なった領域における画像部分のデプス値が特定できる。すなわち、セグメンテーション画像のうち、ステレオカメラＡ及びステレオカメラＢの撮像領域と重なる領域のデプス値を含むデプス画像が、第３領域のデプス画像として求まる。 The depth estimation unit 75 aligns the transformed depth map A and the transformed depth map B with the segmentation image. That is, the segmentation image and the depth map after each transformation are aligned between pixels corresponding to each other. Based on the principle of triangulation and epipolar constraints, self-location information in a reference coordinate system, and pre-calibrated relative position information between sensors, each pixel of depth map A and depth map B is the segmentation image which pixel of is uniquely specified. If the image size of the depth map A and the depth map B is different from that of the segmentation image, interpolation processing may be performed as appropriate. Thereby, the depth value of the image portion in the overlapping area can be specified. That is, the depth image including the depth values of the regions overlapping the imaging regions of the stereo camera A and the stereo camera B in the segmentation image is obtained as the depth image of the third region.

図１１は、図１０のセグメンテーション画像に、デプスマップＡ（デプスマップ９６Ａ）及びデプスマップＢ（デプスマップ９６Ｂ）を位置合わせして重ねた例を示す。デプスマップ９６Ａ及びデプスマップ９６Ｂのうちセグメンテーション画像と重ならない部分の図示は省略している。なお、デプスマップ９６Ａ及びデプスマップ９６Ｂはそれぞれ座標変換されている。デプスマップ９６Ａ、９６Ｂは複数の画素を含み、各画素はデプス値を含む。セグメンテーション画像のうちデプスマップ９６Ａと重なる領域は、デプスマップ９６Ａが示すデプス値を有する。セグメンテーション画像のうちデプスマップ９６Ｂと重なる部分の領域は、デプスマップ９６Ｂが示すデプス値を有する。デプスマップ９６Ａ及びデプスマップ９６Ｂがほぼ対称の形状を有するが、２つのデプスマップが全く異なる形状でもかまわない。また、２つのデプスマップが重ねられているが、１つのデプスセンサを用いた場合は１つのデプスマップが重ねられる。 FIG. 11 shows an example in which depth map A (depth map 96A) and depth map B (depth map 96B) are aligned and superimposed on the segmentation image of FIG. Portions of the depth maps 96A and 96B that do not overlap the segmentation image are omitted. Note that the depth map 96A and the depth map 96B are coordinate-transformed. Depth maps 96A, 96B include a plurality of pixels, each pixel including a depth value. A region of the segmentation image that overlaps the depth map 96A has a depth value indicated by the depth map 96A. A region of the segmentation image overlapping the depth map 96B has a depth value indicated by the depth map 96B. Although depth map 96A and depth map 96B have substantially symmetrical shapes, the two depth maps may have completely different shapes. Also, although two depth maps are superimposed, one depth map is superimposed when one depth sensor is used.

デプス推定部７５は、セグメンテーション画像のうちデプスマップが重なっていない領域（非重畳領域）のデプス値を推定する。推定の動作の詳細は後述する。非重畳領域は、ドローン１０１の死角領域に対応する。デプス推定部７５は、死角領域のデプス値を衝突判定部７６に提供する。 The depth estimation unit 75 estimates the depth value of a region (non-overlapping region) in which the depth map does not overlap in the segmentation image. Details of the estimation operation will be described later. The non-overlapping area corresponds to the blind spot area of the drone 101 . The depth estimation unit 75 provides the depth value of the blind spot area to the collision determination unit 76 .

衝突判定部７６は、死角領域のデプス値、デプス画像Ａ及びデプス画像Ｂに基づき障害物の検出処理を行う。例えば、このままドローン１０１が進行方向（例えばカメラ１２の撮像方向）に進んだ場合に、障害物に衝突するか否かを判定する。また衝突すると判定した場合に、衝突するまでの時間を、ドローン１０１の飛行速度に基づき予測する。 The collision determination unit 76 performs obstacle detection processing based on the depth value of the blind spot area, the depth image A, and the depth image B. FIG. For example, it is determined whether or not the drone 101 will collide with an obstacle when the drone 101 proceeds in the traveling direction (for example, the imaging direction of the camera 12). Also, when it is determined that the drone 101 will collide, the time until the collision occurs is predicted based on the flight speed of the drone 101 .

制御部１３は、衝突判定部７６の判定結果を用いて、ドローン１０１の飛行を制御する。例えば、判定結果が衝突しないことを示す場合は、カメラ１２の撮像方向にそのまま直進する。判定結果が衝突することを示す場合は、衝突するまでに時間より前までに別の経路へ変更する。 The control unit 13 controls flight of the drone 101 using the determination result of the collision determination unit 76 . For example, when the determination result indicates that there will be no collision, the vehicle moves straight in the imaging direction of the camera 12 . If the determination result indicates that the vehicle will collide, the route is changed to another route before the time before the collision.

以下、デプス推定部７５が非重畳領域のデプス値を推定する処理（デプス推定処理）の詳細について説明する。 Details of the process (depth estimation process) of estimating the depth value of the non-superimposed region by the depth estimation unit 75 will be described below.

［第１の推定例］
セグメンテーション画像に含まれるオブジェクトごと（セグメントごと）に、非重畳領域のデプス値を推定する。 [First estimation example]
The depth value of the non-overlapping region is estimated for each object (segment) included in the segmentation image.

図１２（Ａ）は、デプス推定処理の第１の推定例を説明するための図である。セグメンテーション画像の一部に含まれる１つのオブジェクトである地面オブジェクト１１１が取り出して示されている。オブジェクト上の点群１１０は、デプスマップによりデプス値が特定されている点群（画素群）を模式的に示している。この例では地面オブジェクト１１１の一部のデプス値がデプスマップから分かっている。同一オブジェクト（この例では地面オブジェクト１１１）を平面と仮定し、平面フィッティングにより地面オブジェクト１１１を近似する３次元平面を算出する。地面オブジェクト１１１のうちデプスマップによりデプス値が分かっている部分以外の部分（非重畳領域）の少なくとも一部のデプス値として、３次元平面のデプス値を用いる。 FIG. 12A is a diagram for explaining a first estimation example of depth estimation processing. A ground object 111, which is one object included in a portion of the segmentation image, is extracted and shown. A point group 110 on the object schematically shows a point group (pixel group) whose depth values are specified by the depth map. In this example, the depth value of part of the ground object 111 is known from the depth map. Assuming that the same object (the ground object 111 in this example) is a plane, a three-dimensional plane that approximates the ground object 111 is calculated by plane fitting. The depth value of the three-dimensional plane is used as the depth value of at least a portion (non-superimposed region) of the ground object 111 other than the portion whose depth value is known from the depth map.

３次元平面の方程式は、Ｎ^ＴＸ＋ｄ＝０により表される。Ｎは法線ベクトルであり、Ｎ＝［ｎ_ｘ，ｎ_ｙ，ｎ_ｚ］^Ｔである。Ｘは３次元座標であり、Ｘ＝［ｘ，ｙ，ｚ］^Ｔである。ｄは係数である。 A three-dimensional plane equation is represented by N ^T X+d=0. N is the normal vector and N=[ _nx , _ny , _nz ] ^T . X is a three-dimensional coordinate, X=[x,y,z] ^T . d is a coefficient.

図１２（Ｂ）は平面に対する法線ベクトルのイメージを示す。 FIG. 12B shows an image of the normal vector to the plane.

平面フィッティング以外の方法として、メッシュ作成により近似する平面を算出する方法もある。例えばドロネー三角形分割を用いることができる。 As a method other than plane fitting, there is also a method of calculating an approximate plane by creating a mesh. For example, a Delaunay triangulation can be used.

図１２（Ｃ）は、ドロネー三角形分割のイメージを示す。与えられた点群（ここではデプス値が分かっている点群）を辺で結ぶことで平面の図形を得る。この図形は三角形の集合である。この平面を、オブジェクトを近似する平面として用いる。この平面のうち、デプス値が分かっていない点のデプス値は、デプス値が分かっている点のデプス値の補間により推定すればよい。 FIG. 12C shows an image of the Delaunay triangulation. A planar figure is obtained by connecting a given point group (here, a point group with a known depth value) with edges. This figure is a set of triangles. This plane is used as the plane to approximate the object. The depth values of the points whose depth values are unknown in this plane can be estimated by interpolation of the depth values of the points whose depth values are known.

［第２の推定例］
予め定めた種類のオブジェクトには所定のデプス値を割り当てる。例えばドローンは空には衝突しないことから、空オブジェクトを無限遠点として扱う。例えば、空オブジェクトに含まれる各画素のデプス値を、無限遠点に対応する所定値（例えば、最大のデプス値）とする。例えば、前述した図１１の空オブジェクト９３に含まれる画素のデプス値は無限遠点に対応する値とする。 [Second estimation example]
Predetermined types of objects are assigned predetermined depth values. For example, drones do not collide with the sky, so treat sky objects as points at infinity. For example, the depth value of each pixel included in the sky object is set to a predetermined value (for example, maximum depth value) corresponding to the point at infinity. For example, the depth value of the pixels included in the sky object 93 of FIG. 11 described above is set to a value corresponding to the point at infinity.

［第３の推定例］
セグメンテーション画像に存在するオブジェクトのうち、デプスマップと重ならないオブジェクトについては、デプス値が分かっているオブジェクトとの接点におけるデプス値を、当該オブジェクトの少なくとも一部のデプス値とする。当該オブジェクトの少なくとも一部は、例えば、当該オブジェクト全体又は当該オブジェクトの接点部分である。デプス値が分かっているオブジェクトは、第１の推定例又は他の推定例により、オブジェクトの一部のデプス値が推定されたオブジェクトでもよい。 [Third estimation example]
Among the objects present in the segmentation image, for objects that do not overlap the depth map, the depth value at the point of contact with the object whose depth value is known is used as the depth value of at least a part of the object. At least part of the object is, for example, the entire object or a contact part of the object. An object whose depth value is known may be an object for which the depth value of a portion of the object has been estimated according to the first estimation example or another estimation example.

図１３は、第３の推定例の具体例を示す図である。地面オブジェクト１１１のうちデプスマップに重なっていない部分（非重畳領域）のデプス値が、上述した第１の推定例に従って、推定されているとする。人間オブジェクト１１２が存在し、人間オブジェクト１１２とデプスマップは重なっていないとする。すなわち人間オブジェクト１１２全体が非重畳領域に相当する。この場合、人間オブジェクト１１２と地面オブジェクト１１１との接点部分におけるデプス値に基づき、人間オブジェクト１１２の少なくとも一部（全部又は接点部分など）のデプス値を決定する。地面オブジェクト１１１は地面を表しているから、人間オブジェクト１１２が地面オブジェクト１１１と接する箇所は、人間オブジェクト１１２の一番下位の足部分（１１２Ａ、１１２Ｂ）であると分かる。そこで、足部分（１１２Ａ、１１２Ｂ）に接する地面オブジェクト１１１の部分のデプス値の統計値（平均、中央値、最小値、最大値等）を、人間オブジェクト１１２の少なくとも一部（全部又は接点部分など）のデプス値とする。 FIG. 13 is a diagram showing a specific example of the third estimation example. Assume that the depth value of the portion of the ground object 111 that does not overlap the depth map (non-overlapping area) is estimated according to the first estimation example described above. Assume that a human object 112 exists and that the human object 112 and the depth map do not overlap. That is, the human object 112 as a whole corresponds to the non-overlapping area. In this case, based on the depth value at the contact portion between the human object 112 and the ground object 111, the depth value of at least a portion (whole or contact portion) of the human object 112 is determined. Since the ground object 111 represents the ground, it can be seen that the place where the human object 112 contacts the ground object 111 is the lowest foot portion (112A, 112B) of the human object 112. FIG. Therefore, the statistic values (average, median, minimum, maximum, etc.) of the depth values of the portions of the ground object 111 that are in contact with the foot portions (112A, 112B) are compared with at least a portion of the human object 112 (all or contact portions, etc.). ) is the depth value.

セグメンテーション画像に存在するオブジェクトのうち、デプス値が分かっているオブジェクトと接していないオブジェクトについて、デプス値が不明なオブジェクト（デプス値が不明な領域）と判断する。例えば空中に飛んでいる鳥などが、このような場合のオブジェクトとして考えられる。デプス値が不明なオブジェクトは、オブジェクトまでの距離が不明なオブジェクトに相当する。距離が不明なオブジェクトが存在する場合、このオブジェクトが表す対象は障害物であると見なして、このオブジェクトへの方向の飛行を速やかに回避することが考えられる。 Of the objects present in the segmentation image, objects that do not touch objects with known depth values are determined to be objects with unknown depth values (regions with unknown depth values). For example, a bird flying in the air can be considered as an object in such a case. An object with an unknown depth value corresponds to an object with an unknown distance to the object. If there is an object whose distance is unknown, it is conceivable to regard the object represented by this object as an obstacle and quickly avoid flying in the direction of this object.

図１４は、空中で飛んでいる鳥を含むセグメンテーション画像の例を示す。セグメンテーション画像に鳥オブジェクト１１３が含まれる。鳥オブジェクト１１３以外は空オブジェクト１１４である。空オブジェクト１１４の一部はデプスマップ（図示せず）と重なっているが、鳥オブジェクト１１３はデプスマップと重なっていない。このような場合、鳥オブジェクト１１３はデプス値（距離）が不明なオブジェクトとする。 FIG. 14 shows an example of a segmentation image containing birds flying in the air. A bird object 113 is included in the segmentation image. Objects other than the bird object 113 are sky objects 114 . A portion of the sky object 114 overlaps the depth map (not shown), but the bird object 113 does not overlap the depth map. In such a case, the bird object 113 is assumed to be an object whose depth value (distance) is unknown.

［第４の推定例］
オブジェクトの一部がデプスマップと重なっている場合、オブジェクトの重なっていない部分のデプス値を、重なっている部分のデプス値から推定する。例えば重なっている部分のデプス値の統計値（平均値、中央値、最大値又は最小値など）を、当該重なっていない部分のデプス値とする。例えば人間オブジェクトが直立している場合に、人間オブジェクトの足のデプス値が分かっていれば、足のデプス値を、足以外の部分のデプス値として用いる。 [Fourth estimation example]
If a portion of the object overlaps the depth map, the depth values of the non-overlapping portion of the object are estimated from the depth values of the overlapping portion. For example, the statistic value (average value, median value, maximum value, minimum value, etc.) of the depth values of the overlapping portion is set as the depth value of the non-overlapping portion. For example, when the human object stands upright, if the depth value of the legs of the human object is known, the depth value of the legs is used as the depth value of the portion other than the legs.

［第５の推定例］
第５の推定例ではデプス値が分かっているオブジェクトと接しておらず、かつデプスマップにも重なっていないオブジェクトのデプス値を推定する例を記載する。 [Fifth estimation example]
A fifth estimation example describes an example of estimating the depth value of an object that is neither in contact with an object whose depth value is known nor overlaps the depth map.

図１５は、デプス推定処理の第５の推定例を説明するための図である。路面オブジェクト１２１の一部がデプスマップと重なっており、重なっている領域の点群（画素群）１２０が模式的に示されている。点群１２０のデプス値は分かっている。路面オブジェクト１２１の左手前と、右奥とに、電柱オブジェクト１２２Ａ、１２２Ｂが設置されている。電柱オブジェクト１２２Ａ、１２２Ｂの間には、電線オブジェクト１２３が架けられている。電柱オブジェクト１２２Ａの一部はデプス値が分かっているが、電柱オブジェクト１２２Ｂについては、デプス値が分かっている領域は存在しない。第４の推定例では、電柱オブジェクト１２２Ｂ（非重畳領域）のデプス値、及び電線オブジェクト１２３の任意の箇所（非重畳領域）のデプス値を推定する。実空間における電柱オブジェクト１２２Ａ及び電柱オブジェクト１２２Ｂが表す対象（電柱）の太さはいずれも同じであるとする。 FIG. 15 is a diagram for explaining a fifth estimation example of depth estimation processing. A part of the road surface object 121 overlaps the depth map, and a point group (pixel group) 120 in the overlapping area is schematically shown. The depth value of point cloud 120 is known. Telephone pole objects 122A and 122B are installed on the front left and rear right of the road surface object 121, respectively. A wire object 123 spans between the utility pole objects 122A and 122B. The depth values are known for some of the utility pole objects 122A, but there is no area for the utility pole objects 122B where the depth values are known. In the fourth estimation example, the depth value of the utility pole object 122B (non-superimposed area) and the depth value of any part (non-superimposed area) of the electric wire object 123 are estimated. It is assumed that the objects (electric poles) represented by the utility pole object 122A and the utility pole object 122B in the real space have the same thickness.

まず電柱オブジェクト１２２Ｂのデプス値を推定する例を示す。 First, an example of estimating the depth value of the utility pole object 122B will be shown.

最初に、一部のデプス値が分かっている電柱オブジェクト１２２Ａの太さの平均値を算出する。 First, the average thickness of the utility pole object 122A for which some depth values are known is calculated.

図１６は、平均値を算出する手順の一例を示す。図１５（Ａ）に示すように、電柱オブジェクト１２２ＡのエッジＥ１、Ｅ２をセグメンテーション画像からエッジ検出処理により検出する。次に、図１５（Ｂ）に示すように、エッジＥ１、Ｅ２の直線に対する法線方向を一定間隔で算出する。次に、図１５（Ｃ）に示すように、各法線の方向にエッジＥ１、Ｅ２間の距離（画素数）を算出する。例えばエッジＥ１の法線Ｈ１について、法線Ｈ１の起点の位置を（ｈ１、ｖ１）、法線Ｈ１とエッジＥ２との交点を（ｈ２、ｖ２）とする。このとき、法線Ｈ１の方向におけるエッジＥ１、Ｅ２間の距離Ａは、以下の式で算出される。

FIG. 16 shows an example of the procedure for calculating the average value. As shown in FIG. 15A, edges E1 and E2 of the utility pole object 122A are detected from the segmentation image by edge detection processing. Next, as shown in FIG. 15B, normal directions of the edges E1 and E2 to the straight line are calculated at regular intervals. Next, as shown in FIG. 15C, the distance (the number of pixels) between the edges E1 and E2 in each normal direction is calculated. For example, regarding the normal line H1 of the edge E1, the starting point of the normal line H1 is (h1, v1), and the intersection of the normal line H1 and the edge E2 is (h2, v2). At this time, the distance A between the edges E1 and E2 in the direction of the normal line H1 is calculated by the following formula.

各法線について算出した距離の平均値Ａａｖｅを算出する。算出した平均値Ａａｖｅを電柱オブジェクト１２２Ａの太さとする。 An average value Aave of the distances calculated for each normal is calculated. Let the calculated average value Aave be the thickness of the utility pole object 122A.

次に、電柱オブジェクト１２２Ａの横サイズである太さ（画素数）から、実空間において電柱オブジェクト１２２Ａが表す電柱の横サイズである太さ（メートル：ｍ）を算出する。そして、電柱オブジェクト１２２Ａが表す電柱の太さ（ｍ）と、電柱オブジェクト１２２Ｂの太さ（画素数）とに基づき、電柱オブジェクト１２２Ｂが表す電柱までの距離を算出する。 Next, the width (the number of pixels), which is the horizontal size of the utility pole object 122A, is used to calculate the width (meter: m), which is the horizontal size of the utility pole represented by the utility pole object 122A in the real space. Based on the thickness (m) of the utility pole represented by the utility pole object 122A and the thickness (the number of pixels) of the utility pole object 122B, the distance to the utility pole represented by the utility pole object 122B is calculated.

図１７は、実空間における電柱オブジェクト１２２Ａの電柱の太さと、電柱オブジェクト１２２Ｂが表す電柱までの距離を算出する例を示す図である。
カメラ画像１３１における電柱オブジェクト１２２Ａの太さＡａｖｅが示されている。また、カメラ画像１３１における電柱オブジェクト１２２Ｂの太さＢａｖｅが示されている。カメラ画像１３１とセグメンテーション画像は同じ画素数であるため、カメラ画像１３１をセグメンテーション画像として考えても問題ない。 FIG. 17 is a diagram showing an example of calculating the thickness of the utility pole of the utility pole object 122A in the real space and the distance to the utility pole represented by the utility pole object 122B.
The thickness Aave of the utility pole object 122A in the camera image 131 is shown. Also, the thickness Bave of the utility pole object 122B in the camera image 131 is shown. Since the camera image 131 and the segmentation image have the same number of pixels, there is no problem in considering the camera image 131 as the segmentation image.

光源位置１３２に対し、カメラ１２の焦点距離をF（単位は画素）とする。電柱オブジェクト１２２Ａが表す電柱１３３Ａ（ここでは説明のため電柱の太さのみを示している）までの実距離（ｍ）をＺとする。距離Ｚは、例えば電柱オブジェクト１２２Ａのデプス値の平均により算出できる。このとき、実空間における電柱１３３Ａの太さＸ（ｍ）は、以下の式で算出される。

Let F be the focal length of the camera 12 with respect to the light source position 132 (in units of pixels). Let Z be the actual distance (m) from the utility pole object 122A to the utility pole 133A (only the thickness of the utility pole is shown here for the sake of explanation). The distance Z can be calculated, for example, by averaging the depth values of the utility pole object 122A. At this time, the thickness X (m) of the utility pole 133A in real space is calculated by the following formula.

次に電柱オブジェクト１２２Ｂが表す電柱１３３Ｂまでの距離をＤとする。実空間における電柱１３３Ｂの太さは、電柱１３３Ａと同じＸである。よって、電柱１３３Ｂまでの距離は、以下の式で算出される。

Next, let D be the distance to the utility pole 133B represented by the utility pole object 122B. The thickness of the utility pole 133B in real space is X, which is the same as that of the utility pole 133A. Therefore, the distance to the utility pole 133B is calculated by the following formula.

以上により、電柱１３３Ｂまでの距離（ｍ）が算出された。実空間の距離とデプス値とが１対１に対応するため、これにより、電柱オブジェクト１２２Ｂのデプス値が特定される。 As described above, the distance (m) to the utility pole 133B is calculated. Since there is a one-to-one correspondence between the distance in the real space and the depth value, this identifies the depth value of the utility pole object 122B.

次に、電線オブジェクト１２３の任意の箇所のデプス値を推定する例を説明する。
図１８は、電線オブジェクト１２３の箇所１３４のデプス値を推定する例を示す図である。電線オブジェクト１２３は電柱オブジェクト１２２Ａと電柱オブジェクト１２２Ｂの間に架けられている。よって、電柱オブジェクト１２２Ａと電線オブジェクト１２３の結合部１３５Ａから箇所１３４までの画素数Ｐａと、電柱オブジェクト１２２Ｂと電線オブジェクト１２３の結合部１３５Ｂから箇所１３４までの画素数Ｐｂとの比を用いて、箇所１３４までのデプスを算出できる。例えば、電柱オブジェクト１２２Ａのデプス値をＤａ、電柱オブジェクト１２２ｂまでのデプス値をＤｂとすると、箇所１３４のデプス値Ｄｃは、以下の式で表される。なお、電線オブジェクトと電柱オブジェクトとの結合部を特定できない場合は、電柱オブジェクトの最上部を結合部として用いてもよい。

Next, an example of estimating the depth value of an arbitrary portion of the wire object 123 will be described.
FIG. 18 is a diagram showing an example of estimating the depth value of the location 134 of the wire object 123. As shown in FIG. The electric wire object 123 is spanned between the utility pole object 122A and the utility pole object 122B. Therefore, using the ratio between the number of pixels Pa from the connection portion 135A of the utility pole object 122A and the electric wire object 123 to the location 134 and the number of pixels Pb from the connection portion 135B of the utility pole object 122B and the electric wire object 123 to the location 134, the location Depths up to 134 can be calculated. For example, if the depth value of the utility pole object 122A is Da and the depth value up to the utility pole object 122b is Db, the depth value Dc of the point 134 is expressed by the following formula. Note that if the joint between the electric wire object and the utility pole object cannot be specified, the uppermost part of the utility pole object may be used as the joint.

［その他の推定例］
前述した図１４の説明では、空を飛ぶ鳥のオブジェクトのデプス値は不明として扱ったが過去のカメラ画像のフレームで鳥オブジェクトのデプス値が算出された場合、鳥オブジェクトをトラッキングすることにより、鳥オブジェクトのデプス値を算出してもよい。例えば過去にデプス値が算出された鳥オブジェクトの大きさと、今回の鳥オブジェクトの大きさとを比較する。大きさの比率と、過去に算出したデプス値とから、今回の鳥オブジェクトのデプス値を算出する。 [Other estimation examples]
In the above description of FIG. 14, the depth value of the bird object flying in the sky was treated as unknown. A depth value of the object may be calculated. For example, the size of a bird object whose depth value has been calculated in the past is compared with the size of the bird object at this time. The depth value of the current bird object is calculated from the size ratio and the previously calculated depth value.

図１９Ａ及び図１９Ｂは、本実施形態に係る情報処理装置１の制御部１３における動作の一例を示すフローチャートである。ドローン１０１はカメラ１２として１つ又は複数の可動式カメラを備えているとする。可動式カメラは位置及び姿勢の少なくとも一方を変更可能なカメラである。またデプスセンサ１１としてＬｉＤＡＲ又はレーダ等のステレオカメラでないデプスセンサＡ、Ｂの２つを用いる場合を想定する。ステレオカメラを用いる場合は、前述した図９で説明したデプス画像取得部で行う視差推定の処理を追加的に行えばよい。ドローン１０１の進行方向とは別の予測したい経路（予測対象の経路）の方向にカメラ１２を向けて障害物の検出を行う場合を想定する。 19A and 19B are flowcharts showing an example of the operation of the control unit 13 of the information processing device 1 according to this embodiment. It is assumed that drone 101 is equipped with one or more movable cameras as cameras 12 . A movable camera is a camera that can change at least one of its position and orientation. It is also assumed that two depth sensors A and B, which are not stereo cameras such as LiDAR or radar, are used as the depth sensor 11 . When a stereo camera is used, the process of estimating parallax performed by the depth image acquisition unit described with reference to FIG. 9 may be additionally performed. A case is assumed in which obstacles are detected by directing the camera 12 in the direction of a route to be predicted (a route to be predicted) that is different from the traveling direction of the drone 101 .

制御部１３は、予測対象の経路に死角領域が含まれるかを判断する（Ｓ１０１）。すなわちデプスセンサ１１で検出できない領域が経路に含まれているかを判断する。死角領域が含まれない場合、本処理を終了する。死角領域が含まれる場合、可動式カメラの内の１つを任意に選択する（Ｓ１０２）。 The control unit 13 determines whether a blind spot area is included in the route to be predicted (S101). That is, it is determined whether the route includes an area that cannot be detected by the depth sensor 11 . If the blind spot area is not included, the process ends. If a blind spot area is included, arbitrarily select one of the movable cameras (S102).

選択した可動式カメラが障害物の検出を行いたい方向（予測対象の経路の方向）を向いているかを判断する（Ｓ１０３）。当該方向を向いている場合は、ステップＳ１０７に進む。向いていない場合は、可動式カメラを障害物の検出の用途に占有できるかを判断する（Ｓ１０４）。例えばドローン１０１が監視目的で飛行しており監視目的用の可動式カメラを全て使用中の場合は、占有できないと判断する。占有できない場合は、他に可動式カメラが存在するかを判断し、存在しない場合は、本処理を終了する。存在する場合は、ステップＳ１０２に戻る。可動式カメラを占有できる場合は、ステップＳ１０６に進む。 It is determined whether or not the selected movable camera faces the direction in which obstacle detection is desired (the direction of the route to be predicted) (S103). If it faces that direction, the process proceeds to step S107. If not, it is determined whether the movable camera can be used for obstacle detection (S104). For example, if the drone 101 is flying for monitoring purposes and all movable cameras for monitoring purposes are in use, it is determined that it cannot be occupied. If it cannot be occupied, it is determined whether there is another movable camera, and if not, the processing ends. If it exists, the process returns to step S102. If the movable camera can be occupied, the process proceeds to step S106.

ステップＳ１０６では可動式カメラの撮像方向を予測対象の経路の方向に向くように可動式カメラを制御する。制御部１０３は、可動式カメラで撮像を行い（Ｓ１０７）、撮像により取得した画像（輝度画像）を取得する。取得した輝度画像を補正し（Ｓ１０８）、セマンティックセグメンテーションを行う（Ｓ１０９）。 In step S106, the movable camera is controlled so that the imaging direction of the movable camera faces the direction of the route to be predicted. The control unit 103 takes an image with the movable camera (S107), and acquires an image (brightness image) obtained by the imaging. The acquired luminance image is corrected (S108), and semantic segmentation is performed (S109).

制御部１３は、可動式カメラと検出範囲の一部が重なるデプスセンサＡを用いて撮像を行い、デプス値を含むデプス画像を取得する（Ｓ１１０）。取得したデプス画像に歪み補正等の補正を行う（Ｓ１１１）。なお、デプス画像の補正処理を省略する構成も可能である。デプスセンサＡのデプス画像を可動式カメラの座標系に変換する（Ｓ１１２）。 The control unit 13 performs imaging using the movable camera and the depth sensor A whose detection range partially overlaps, and acquires a depth image including a depth value (S110). Correction such as distortion correction is performed on the acquired depth image (S111). Note that it is also possible to omit the depth image correction processing. The depth image of depth sensor A is transformed into the coordinate system of the movable camera (S112).

制御部１３は、可動式カメラと検出範囲の一部が重なるデプスセンサＢを用いて撮像を行い、デプス値を含むデプス画像を取得する（Ｓ１１３）、画像（デプス画像）を取得する。取得したデプス画像を補正する（Ｓ１１４）。なお、デプス画像の補正を行う処理を省略する構成も可能である。デプスセンサＢのデプス画像を可動式カメラの座標系に変換する（Ｓ１１５）。 The control unit 13 acquires an image (depth image) by capturing an image using the depth sensor B whose detection range partially overlaps with the movable camera, and acquiring a depth image including the depth value (S113). The acquired depth image is corrected (S114). Note that it is also possible to omit the process of correcting the depth image. The depth image of depth sensor B is transformed into the coordinate system of the movable camera (S115).

セグメンテーション画像と、デプスセンサＡの変換後のデプス画像と、デプスセンサＢの変換後のデプス画像とを用いて、死角領域のデプス値を推定する（Ｓ１１６）。推定されたデプス値と、デプスセンサＡ、Ｂのデプス画像を用いて、障害物との衝突判定を行う（Ｓ１１７）。制御部１３は、判定結果に基づきドローン１０１の飛行を制御する（Ｓ１１８）。 Using the segmentation image, the transformed depth image of depth sensor A, and the transformed depth image of depth sensor B, the depth value of the blind area is estimated (S116). Using the estimated depth value and the depth images of the depth sensors A and B, collision determination with an obstacle is performed (S117). The control unit 13 controls the flight of the drone 101 based on the determination result (S118).

以上、本実施形態によれば、デプスセンサの死角領域における障害物検出が可能となり、死角領域にドローンを進ませたときに、障害物の手前での自動停止や、障害物の回避を可能とする。また障害物を回避する場合も、死角領域を通りつつ障害物を回避する経路を決定できる。これにより、ドローンの自律移動時やＲＴＨ（Return to Home）時に、死角領域を避けて遠回りすることで非効率な飛行となる事象を低減できる。 As described above, according to this embodiment, it is possible to detect obstacles in the blind spot area of the depth sensor, and when the drone is advanced in the blind spot area, it is possible to automatically stop in front of the obstacle and avoid the obstacle. . Also, when avoiding an obstacle, a route that avoids the obstacle while passing through the blind spot area can be determined. As a result, it is possible to reduce the phenomenon of inefficient flight due to detours avoiding blind spots when the drone autonomously moves or returns to home (RTH).

（変形例）
上述の実施形態ではドローン１０１が死角領域のデプス値を推定したが、基地局２０１がドローン１０１からセグメンテーション画像と、デプス画像とを取得し、死角領域のデプス値を推定してもよい。基地局２０１は、推定したデプス値をドローン１０１に送信する。また基地局２０１が推定したデプス値に基づき障害物との衝突判定を行い、判定結果に応じてドローン１０１の飛行を制御してもよい。例えば死角領域に障害物が検出された場合、障害物を回避する新たな経路を決定し、決定した経路の指示データをドローン１０１に送信する。 (Modification)
In the above embodiment, the drone 101 estimates the depth value of the blind area, but the base station 201 may acquire the segmentation image and the depth image from the drone 101 and estimate the depth value of the blind area. Base station 201 transmits the estimated depth value to drone 101 . Further, collision determination with an obstacle may be performed based on the depth value estimated by the base station 201, and the flight of the drone 101 may be controlled according to the determination result. For example, when an obstacle is detected in a blind spot area, a new route that avoids the obstacle is determined, and instruction data for the determined route is transmitted to the drone 101 .

（ハードウェア構成）
図２０に、ドローン１０１又は基地局２０１のハードウェア構成の一例を示す。ドローン１０１が備える情報処理装置１又は基地局２０１は、コンピュータ装置３００により構成される。コンピュータ装置３００は、ＣＰＵ３０１と、入力インタフェース３０２と、表示装置３０３と、通信装置３０４と、主記憶装置３０５と、外部記憶装置３０６とを備え、これらはバス３０７により相互に接続されている。これらの要素のうちの少なくとも１つを、情報処理装置１又は基地局２０１が備えていなくてもよい。 (Hardware configuration)
FIG. 20 shows an example of the hardware configuration of the drone 101 or base station 201. As shown in FIG. The information processing device 1 or the base station 201 included in the drone 101 is configured by a computer device 300 . The computer device 300 includes a CPU 301 , an input interface 302 , a display device 303 , a communication device 304 , a main storage device 305 and an external storage device 306 , which are interconnected by a bus 307 . Information processing apparatus 1 or base station 201 may not include at least one of these elements.

ＣＰＵ（中央演算装置）３０１は、主記憶装置３０５上で、コンピュータプログラムを実行する。コンピュータプログラムは、情報処理装置１又は基地局２０１の上述の各機能構成を実現するプログラムのことである。コンピュータプログラムは、１つのプログラムではなく、複数のプログラムやスクリプトの組み合わせにより実現されていてもよい。ＣＰＵ３０１が、コンピュータプログラムを実行することにより、各機能構成は実現される。 A CPU (Central Processing Unit) 301 executes a computer program on a main memory device 305 . A computer program is a program that implements the above functional configurations of the information processing apparatus 1 or the base station 201 . A computer program may be realized by a combination of a plurality of programs and scripts instead of a single program. Each functional configuration is realized by the CPU 301 executing a computer program.

入力インタフェース３０２は、キーボード、マウス、およびタッチパネルなどの入力装置からの操作信号を、情報処理装置１又は基地局２０１に入力するための回路である。 The input interface 302 is a circuit for inputting operation signals from input devices such as a keyboard, mouse, and touch panel to the information processing apparatus 1 or the base station 201 .

表示装置３０３は、情報処理装置１又は基地局２０１に記憶されているデータ又は情報処理装置１又は基地局２０１で算出されたデータを表示する。表示装置３０３は、例えば、ＬＣＤ（液晶ディスプレイ）、有機エレクトロルミネッセンスディスプレイ、ＣＲＴ（ブラウン管）、またはＰＤＰ（プラズマディスプレイ）であるが、これに限られない。 The display device 303 displays data stored in the information processing device 1 or the base station 201 or data calculated by the information processing device 1 or the base station 201 . The display device 303 is, for example, an LCD (liquid crystal display), an organic electroluminescence display, a CRT (cathode-ray tube), or a PDP (plasma display), but is not limited thereto.

通信装置３０４は、情報処理装置１又は基地局２０１が外部装置と無線または有線で通信するための回路である。情報処理装置１又は基地局２０１で用いるデータを、通信装置３０４を介して外部装置から入力することができる。通信装置３０４はアンテナを含む。外部装置から入力したデータを、主記憶装置３０５や外部記憶装置３０６に格納することができる。 The communication device 304 is a circuit for the information processing device 1 or the base station 201 to communicate with an external device wirelessly or by wire. Data used by the information processing device 1 or the base station 201 can be input from an external device via the communication device 304 . Communication device 304 includes an antenna. Data input from an external device can be stored in the main storage device 305 or the external storage device 306 .

主記憶装置３０５は、コンピュータプログラム、コンピュータプログラムの実行に必要なデータ、およびコンピュータプログラムの実行により生成されたデータなどを記憶する。コンピュータプログラムは、主記憶装置３０５上で展開され、実行される。主記憶装置３０５は、例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭであるが、これに限られない。図２又は図３の記憶部は、主記憶装置３０５上に構築されてもよい。 The main storage device 305 stores computer programs, data necessary for executing the computer programs, data generated by executing the computer programs, and the like. A computer program is expanded and executed on the main memory device 305 . The main storage device 305 is, for example, RAM, DRAM, or SRAM, but is not limited thereto. The storage unit in FIG. 2 or 3 may be constructed on the main storage device 305 .

外部記憶装置３０６は、コンピュータプログラム、コンピュータプログラムの実行に必要なデータ、およびコンピュータプログラムの実行により生成されたデータなどを記憶する。これらのコンピュータプログラムやデータは、コンピュータプログラムの実行の際に、主記憶装置３０５に読み出される。外部記憶装置３０６は、例えば、ハードディスク、光ディスク、フラッシュメモリ、及び磁気テープであるが、これに限られない。図２又は図３の記憶部は、外部記憶装置３０６上に構築されてもよい。 The external storage device 306 stores computer programs, data necessary for executing the computer programs, data generated by executing the computer programs, and the like. These computer programs and data are read into the main memory device 305 when the computer programs are executed. The external storage device 306 is, for example, a hard disk, an optical disk, a flash memory, and a magnetic tape, but is not limited to these. The storage unit in FIG. 2 or 3 may be constructed on the external storage device 306 .

なお、コンピュータプログラムは、コンピュータ装置３００に予めインストールされていてもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶されていてもよい。また、コンピュータプログラムは、インターネット上にアップロードされていてもよい。 The computer program may be pre-installed in the computer device 300, or may be stored in a storage medium such as a CD-ROM. The computer program may also be uploaded on the Internet.

また、コンピュータ装置３００は単一の装置により構成されてもよいし、相互に接続された複数のコンピュータ装置からなるシステムとして構成されてもよい。 Further, the computer device 300 may be composed of a single device, or may be configured as a system composed of a plurality of interconnected computer devices.

なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Note that the above-described embodiment is an example for embodying the present disclosure, and the present disclosure can be implemented in various other forms. For example, various modifications, substitutions, omissions, or combinations thereof are possible without departing from the gist of the present disclosure. Forms with such modifications, substitutions, omissions, etc. are also included in the scope of the invention described in the claims and their equivalents, as well as being included in the scope of the present disclosure.

また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。 Also, the effects of the disclosure described herein are merely examples, and other effects may also occur.

なお、本開示は以下のような構成を取ることもできる。
［項目１］
空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する
情報処理方法。
［項目２］
デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得する
項目１に記載の情報処理方法。
［項目３］
前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域とする
項目２に記載の情報処理方法。
［項目４］
前記第２領域の輝度画像を複数のセグメントに分割し、
前前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定する
項目３に記載の情報処理方法。
［項目５］
前記第２領域の輝度画像を複数のセグメントに分割し、
少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定する
項目３又は４に記載の情報処理方法。
［項目６］
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重ならない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する
項目３～５のいずれか一項に記載の情報処理方法。
［項目７］
前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定する
項目３～６のいずれか一項に記載の情報処理方法。
［項目８］
前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明とする
項目３～７のいずれか一項に記載の情報処理方法。
［項目９］
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、
前記第１セグメントのサイズと、
前記デプス画像と重ならない前記第２セグメントのサイズと、
前記第１セグメントが表す対象のサイズと、
前記第２セグメントが表す対象のサイズと
に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定する
項目３～８のいずれか一項に記載の情報処理方法。
［項目１０］
前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定する
項目３～９のいずれか一項に記載の情報処理方法。
［項目１１］
前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する
項目１～１０のいずれか一項に記載の情報処理方法。
［項目１２］
デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得し、
前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける
項目１１に記載の情報処理方法。
［項目１３］
複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いる
項目１２に記載の情報処理方法。
［項目１４］
前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なる
項目２に記載の情報処理方法。
［項目１５］
前記第３領域は、前記移動体の死角領域である
項目１～１４のいずれか一項に記載の情報処理方法。
［項目１６］
前記移動体は、飛行体、自動車又はロボットである
項目１～１５のいずれか一項に記載の情報処理方法。
［項目１７］
空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部と、
前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する制御部と、
を備えた情報処理装置。
［項目１７］
空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップと、
前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御するステップと
をコンピュータに実行させるためのコンピュータプログラム。 In addition, this disclosure can also take the following structures.
[Item 1]
Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region an information processing method for estimating a depth value of a third area that is at least part of an area that does not
[Item 2]
Acquiring a depth image of the first region from a first sensor device that measures depth values;
The information processing method according to item 1, wherein a luminance image of the second region is obtained from a second sensor device that measures luminance values.
[Item 3]
transforming the depth image from the coordinate system of the first sensor device to the coordinate system of the second sensor device;
Item 3. The information processing method according to item 2, wherein the converted depth image is aligned with and superimposed on the luminance image, and at least part of a region of the luminance image that does not overlap the depth image is defined as the third region. .
[Item 4]
dividing the luminance image of the second region into a plurality of segments;
identifying a segment that includes a first portion that overlaps with the previous depth image and a second portion that does not overlap with the depth image, and based on the depth value of the first portion of the identified segment, the identified segment The information processing method according to item 3, wherein a depth value of the second portion is estimated.
[Item 5]
dividing the luminance image of the second region into a plurality of segments;
A depth value of a portion of at least one of the segments that overlaps with the depth image is specified, a three-dimensional plane including a position represented by the specified depth value is estimated, and the depth of the segment is determined based on the estimated three-dimensional plane. 5. The information processing method according to item 3 or 4, wherein a depth value of a portion that does not overlap the image is estimated.
[Item 6]
dividing the luminance image of the second region into a plurality of segments;
any one of items 3 to 5, wherein a depth value of at least a portion of a first segment that does not overlap with the depth image is estimated based on a depth value of a portion of a second segment that overlaps with the depth image and is in contact with the first segment The information processing method described in .
[Item 7]
dividing the luminance image of the second region into a plurality of segments;
7. The information processing method according to any one of items 3 to 6, wherein a depth value of a predetermined type of segment among the plurality of segments is set to a predetermined value.
[Item 8]
dividing the luminance image of the second region into a plurality of segments;
8. The information processing method according to any one of items 3 to 7, wherein a depth value of a segment included in a segment of a predetermined type among the plurality of segments is unknown.
[Item 9]
dividing the luminance image of the second region into a plurality of segments;
a depth value of a portion of a first segment that overlaps with the depth image and that overlaps with the depth image;
a size of the first segment;
a size of the second segment that does not overlap the depth image;
a size of the object represented by the first segment;
The information processing method according to any one of items 3 to 8, wherein a depth value of at least part of the second segment is estimated based on a size of an object represented by the second segment.
[Item 10]
dividing the luminance image of the second region into a plurality of segments;
At least one of third segments that do not overlap with the depth image, based on a distance to a first object represented by a first segment that overlaps with the depth image and a distance to a second object represented by a second segment that overlaps with the depth image. 10. The information processing method according to any one of items 3 to 9, wherein a depth value of the part is estimated.
[Item 11]
11. The information processing method according to any one of items 1 to 10, further comprising controlling a moving body moving in the space based on the depth value of the third area.
[Item 12]
Acquiring a depth image of the first region from a first sensor device that measures depth values;
obtaining a luminance image of the second region from a second sensor device that measures luminance values;
12. The information processing method according to item 11, wherein the imaging direction of the second sensor device is directed to the moving direction of the moving body.
[Item 13]
Item 13. The information processing method according to Item 12, wherein a second sensor device that is not being used for another purpose is selected from among the plurality of second sensor devices, and the selected second sensor device is used.
[Item 14]
Item 3. The information processing method according to Item 2, wherein the detection range of the first sensor device partially overlaps the detection range of the second sensor device.
[Item 15]
15. The information processing method according to any one of items 1 to 14, wherein the third area is a blind spot area of the moving object.
[Item 16]
16. The information processing method according to any one of items 1 to 15, wherein the moving object is an aircraft, an automobile, or a robot.
[Item 17]
Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region a depth estimation unit that estimates the depth value of a third region that is at least part of the region that does not
a control unit that controls a moving object that moves in the space based on the depth value of the third area;
Information processing device with
[Item 17]
Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region estimating a depth value for a third region that is at least part of the region that is not
A computer program for causing a computer to execute a step of controlling a moving object that moves in the space based on the depth value of the third area.

１：情報処理装置
１０１、１０１Ａ～１０１Ｃ：ドローン、
１０：アンテナ、１１：デプスセンサ（第１センサ装置）、１２：カメラ（第２センサ装置）、１４Ａ～１４Ｄ：ロータ、１５Ａ～１５Ｄ：モータ、１３：制御部、１４：通信部、１６：センサ部、１７：位置検出部、１８：バッテリ、１９：記憶部、
７１：画像補正処理部、７２：セグメンテーション部、７３：カメラパラメータ情報、７４：学習済みニューラルネットワーク、７５：デプス推定部、７６：衝突判定部、８１Ａ、８２Ｂ：画像補正処理部、８２Ａ、８２Ｂ：デプス画像取得部、８３Ａ：ステレオカメラＡのパラメータ情報、８３Ｂ：ステレオカメラＢのパラメータ情報、８４Ａ、８４Ｂ：座標変換部、
２０１：基地局、２０２：アンテナ、２０３：通信部、２０４：制御部、２０５：記憶部、
３００：コンピュータ装置、３０１：ＣＰＵ、３０２：入力インタフェース、３０３：表示装置、３０４：通信装置、３０５：主記憶装置、３０６：外部記憶装置、３０７：バス 1: information processing devices 101, 101A to 101C: drones,
10: antenna, 11: depth sensor (first sensor device), 12: camera (second sensor device), 14A to 14D: rotor, 15A to 15D: motor, 13: control unit, 14: communication unit, 16: sensor unit , 17: position detection unit, 18: battery, 19: storage unit,
71: Image correction processing unit, 72: Segmentation unit, 73: Camera parameter information, 74: Trained neural network, 75: Depth estimation unit, 76: Collision determination unit, 81A, 82B: Image correction processing unit, 82A, 82B: Depth image acquisition unit, 83A: parameter information of stereo camera A, 83B: parameter information of stereo camera B, 84A, 84B: coordinate transformation unit,
201: base station, 202: antenna, 203: communication unit, 204: control unit, 205: storage unit,
300: computer device, 301: CPU, 302: input interface, 303: display device, 304: communication device, 305: main storage device, 306: external storage device, 307: bus

Claims (18)

空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定する
情報処理方法。 Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region an information processing method for estimating a depth value of a third area that is at least part of an area that does not デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得する
請求項１に記載の情報処理方法。 Acquiring a depth image of the first region from a first sensor device that measures depth values;
The information processing method according to claim 1, wherein a luminance image of the second region is obtained from a second sensor device that measures luminance values. 前記デプス画像を前記第１センサ装置の座標系から前記第２センサ装置の座標系に変換し、
前記変換後の前記デプス画像を前記輝度画像に位置合わせして重畳し、前記輝度画像のうち前記デプス画像に重ならない領域の少なくとも一部を前記第３領域とする
請求項２に記載の情報処理方法。 transforming the depth image from the coordinate system of the first sensor device to the coordinate system of the second sensor device;
The information processing according to claim 2, wherein the converted depth image is aligned and superimposed on the luminance image, and at least a portion of the luminance image that does not overlap the depth image is defined as the third region. Method. 前記第２領域の輝度画像を複数のセグメントに分割し、
前前記デプス画像と重なる第１部分と、前記デプス画像と重ならない第２部分とを含むセグメントを特定し、特定した前記セグメントの前記前記第１部分のデプス値に基づいて、特定した前記セグメントの前記第２部分のデプス値を推定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
identifying a segment that includes a first portion that overlaps with the previous depth image and a second portion that does not overlap with the depth image, and based on the depth value of the first portion of the identified segment, the identified segment The information processing method according to claim 3, wherein a depth value of said second portion is estimated. 前記第２領域の輝度画像を複数のセグメントに分割し、
少なくとも１つの前記セグメントにおいて前記デプス画像と重なる部分のデプス値を特定し、特定した前記デプス値が表す位置を含む３次元平面を推定し、推定した前記３次元平面に基づき、前記セグメントの前記デプス画像と重ならない部分のデプス値を推定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
A depth value of a portion of at least one of the segments that overlaps with the depth image is specified, a three-dimensional plane including a position represented by the specified depth value is estimated, and the depth of the segment is determined based on the estimated three-dimensional plane. The information processing method according to claim 3, wherein a depth value of a portion that does not overlap the image is estimated. 前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重ならない第１セグメントの少なくとも一部のデプス値を、前記デプス画像と重なる第２セグメントの前記第１セグメントと接する部分のデプス値に基づき推定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
The information processing method according to claim 3, wherein a depth value of at least a portion of a first segment that does not overlap the depth image is estimated based on a depth value of a portion of a second segment that overlaps the depth image and is in contact with the first segment. . 前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントのデプス値を所定値に設定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
The information processing method according to claim 3, wherein a depth value of a predetermined type of segment among the plurality of segments is set to a predetermined value. 前記第２領域の輝度画像を複数のセグメントに分割し、
前記複数のセグメントのうち予め定めた種類のセグメントに包含されるセグメントのデプス値を不明とする
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
4. The information processing method according to claim 3, wherein a depth value of a segment included in a predetermined type of segment among the plurality of segments is unknown. 前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントの前記デプス画像と重なる部分のデプス値と、
前記第１セグメントのサイズと、
前記デプス画像と重ならない前記第２セグメントのサイズと、
前記第１セグメントが表す対象のサイズと、
前記第２セグメントが表す対象のサイズと
に基づいて、前記第２セグメントの少なくとも一部のデプス値を推定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
a depth value of a portion of a first segment that overlaps with the depth image and that overlaps with the depth image;
a size of the first segment;
a size of the second segment that does not overlap the depth image;
a size of the object represented by the first segment;
The information processing method according to claim 3, wherein a depth value of at least a portion of said second segment is estimated based on a size of an object represented by said second segment. 前記第２領域の輝度画像を複数のセグメントに分割し、
前記デプス画像と重なる第１セグメントが表す第１対象までの距離と、前記デプス画像と重なる第２セグメントが表す第２対象までの距離とに基づき、前記デプス画像と重ならない第３セグメントの少なくとも一部のデプス値を推定する
請求項３に記載の情報処理方法。 dividing the luminance image of the second region into a plurality of segments;
At least one of third segments that do not overlap with the depth image, based on a distance to a first object represented by a first segment that overlaps with the depth image and a distance to a second object represented by a second segment that overlaps with the depth image. The information processing method according to claim 3, wherein a depth value of the part is estimated. 前記第３領域のデプス値に基づいて、前記空間を移動する移動体を制御する
請求項１に記載の情報処理方法。 The information processing method according to claim 1, further comprising controlling a moving body moving in said space based on the depth value of said third area. デプス値を測定する第１センサ装置から前記第１領域のデプス画像を取得し、
輝度値を測定する第２センサ装置から前記第２領域の輝度画像を取得し、
前記第２センサ装置の撮像方向を前記移動体の移動方向に向ける
請求項１１に記載の情報処理方法。 Acquiring a depth image of the first region from a first sensor device that measures depth values;
obtaining a luminance image of the second region from a second sensor device that measures luminance values;
12. The information processing method according to claim 11, wherein the imaging direction of said second sensor device is directed to the moving direction of said moving body. 複数の前記第２センサ装置のうち他の目的に使用中でない第２センサ装置を選択し、選択した第２センサ装置を用いる
請求項１２に記載の情報処理方法。 13. The information processing method according to claim 12, wherein a second sensor device that is not being used for other purposes is selected from among the plurality of second sensor devices, and the selected second sensor device is used. 前記第１センサ装置の検出範囲は、前記第２センサ装置の検出範囲と一部が重なる
請求項２に記載の情報処理方法。 The information processing method according to claim 2, wherein the detection range of the first sensor device partially overlaps the detection range of the second sensor device. 前記第３領域は、前記移動体の死角領域である
請求項１に記載の情報処理方法。 The information processing method according to claim 1, wherein the third area is a blind spot area of the moving body. 前記移動体は、飛行体、自動車又はロボットである
請求項１に記載の情報処理方法。 The information processing method according to claim 1, wherein the moving object is an aircraft, an automobile, or a robot. 空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するデプス推定部
を備えた情報処理装置。 Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region an information processing apparatus comprising: a depth estimation unit that estimates a depth value of a third area that is at least part of an area that does not 空間における第１領域のデプス値を含むデプス画像と、前記第１領域と一部が重なる第２領域の輝度値を含む輝度画像とに基づいて、前記第２領域のうち前記第１領域に含まれない領域の少なくとも一部である第３領域のデプス値を推定するステップ
をコンピュータに実行させるためのコンピュータプログラム。 Based on a depth image including depth values of a first region in space and a luminance image including luminance values of a second region partially overlapping with the first region, the second region includes in the first region A computer program for causing a computer to execute a step of estimating a depth value of a third region that is at least part of the region that is not

Images